Voltar para todos os casos de uso

SuporteSoftware / plataformas digitais

Fazer o plantão voltar a receber alertas que significam alguma coisa

Fornecedor de plataforma SaaS B2B

Suporte contínuo para um conjunto de monitores do Datadog que gerava mais alertas do que a escala de plantão conseguia tratar de forma útil.

Visão geral

Os engenheiros de plantão de um fornecedor de SaaS confirmavam os alertas no automático, porque a maioria não exigia nenhuma ação. A AceMQ oferece suporte contínuo para manter o conjunto de monitores relevante, trabalhando junto com a equipe do cliente na própria organização do Datadog dele.

Desafio

Os monitores tinham se acumulado ao longo dos anos sem nenhum processo de desativação. Muitos usavam limites estáticos definidos para níveis de tráfego que já não existiam, então disparavam em todo pico normal. Os monitores compostos geravam tempestades de alertas em que uma única falha de origem produzia dezenas de acionamentos. Os monitores multi-alert agrupavam por uma tag que tinha passado a ter alta cardinalidade, gerando um alerta por instância em vez de um por serviço. Ninguém era dono do conjunto, então nada nunca era removido.

Ambiente

Datadog monitorando um ambiente multirregional em AWS e Kubernetes, com os alertas encaminhados para uma escala de plantão.

Abordagem

Trabalhamos a partir do histórico de alertas, e não de opiniões: quais monitores dispararam, com que frequência e se alguém fez alguma coisa em consequência. Monitores que nunca levam a uma ação são desativados ou rebaixados para um dashboard. Os que importam recebem limites que refletem o comportamento atual, um agrupamento adequado e regras de downtime que suprimem o ruído previsível.

Solução

  1. Suporte 24/7 com metas de resposta a partir de 15 minutos, conforme o plano e engenheiros sêniores designados integrados ao ritmo de revisão de alertas do cliente
  2. Histórico de alertas analisado por monitor para separar os que levam a alguma ação dos que são sempre confirmados e fechados
  3. Limites estáticos substituídos por condições baseadas em anomalia ou em previsão onde o sinal tem sazonalidade real
  4. Agrupamento dos monitores multi-alert corrigido para que os alertas cheguem por serviço, e não por instância efêmera
  5. Lógica dos monitores compostos reestruturada para que uma única falha de origem gere um único acionamento, e não uma tempestade
  6. Monitores definidos como código e com donos atribuídos, para que os monitores sem dono fiquem visíveis e possam ser removidos

Resultado obtido

O volume de acionamentos caiu cerca de dois terços, enquanto os monitores que cobrem impacto real nos clientes foram mantidos. O tempo de confirmação melhorou, porque os engenheiros deixaram de tratar os acionamentos como ruído de fundo.

Tecnologias

DatadogKubernetesTerraformPagerDuty

Precisa de suporte especializado em Datadog?

Os engenheiros Datadog sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.