Voltar para todos os casos de uso

SuporteEnergia / serviços públicos

Alertas que disparam quando devem e ficam em silêncio quando não devem

Concessionária de energia

Suporte contínuo ao unified alerting do Grafana, ao roteamento de notificações e à confiabilidade dos datasources em um ambiente de monitoramento operacional.

Visão geral

Uma concessionária de energia depende dos alertas do Grafana para o monitoramento operacional de suas unidades de geração e distribuição. A AceMQ oferece suporte contínuo que cobre o comportamento das regras de alerta, o roteamento de notificações e a estabilidade dos datasources.

Desafio

Depois de migrar do alerting legado para o unified alerting, a concessionária ficou com regras que disparavam de forma inconsistente. Alguns alertas nunca se resolviam porque a série subjacente deixava de ser reportada e a regra não tinha tratamento de no-data. Outros oscilavam porque o intervalo de avaliação era menor que o intervalo de scrape, então a regra avaliava regularmente sobre uma lacuna. As notification policies tinham virado uma árvore que ninguém entendia por completo, e uma rota com o label errado fazia com que uma categoria inteira de alertas estivesse indo silenciosamente para lugar nenhum.

Ambiente

Grafana em implantação híbrida, monitorando infraestrutura on-premises ligada ao SCADA e serviços em nuvem, com alertas enviados para as ferramentas de escala de plantão.

Abordagem

O suporte trata regras de alerta como código de produção. Revisamos o tratamento de no-data e de erros em todas as regras, alinhamos os intervalos de avaliação à cadência de scrape e das recording rules subjacentes e validamos que todo caminho das notification policies realmente chega a uma pessoa. Mudanças nas regras são testadas contra dados históricos antes de entrar em produção.

Solução

  1. Suporte 24/7 com metas de resposta a partir de 15 minutos, conforme o plano e engenheiros sêniores designados que conhecem o conjunto de alertas
  2. Auditoria de todas as regras de alerta quanto ao tratamento de no-data e de erros de execução, para que falhas silenciosas fiquem visíveis
  3. Alinhamento dos intervalos de avaliação e das durações de for à cadência de scrape e das recording rules, eliminando oscilações causadas por lacunas
  4. Simplificação da árvore de notification policies e verificação de ponta a ponta de cada rota com um alerta de teste
  5. Gestão das regras de alerta e dos contact points como configuração provisionada, para que as mudanças sejam revisáveis e reversíveis
  6. Revisão recorrente do volume de alertas e das taxas de reconhecimento, para aposentar as regras que ninguém usa para agir

Resultado obtido

O ruído de alertas caiu de forma expressiva depois que as regras oscilantes foram corrigidas, e as rotas que não levavam a lugar nenhum agora chegam ao plantão. Os engenheiros voltaram a confiar nos alertas, o que se reflete em tempos de reconhecimento mais curtos.

Tecnologias

GrafanaPrometheusAlertmanagerLinux

Precisa de suporte especializado em Grafana?

Os engenheiros Grafana sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.