Visão geral
Uma concessionária de energia depende dos alertas do Grafana para o monitoramento operacional de suas unidades de geração e distribuição. A AceMQ oferece suporte contínuo que cobre o comportamento das regras de alerta, o roteamento de notificações e a estabilidade dos datasources.
Desafio
Depois de migrar do alerting legado para o unified alerting, a concessionária ficou com regras que disparavam de forma inconsistente. Alguns alertas nunca se resolviam porque a série subjacente deixava de ser reportada e a regra não tinha tratamento de no-data. Outros oscilavam porque o intervalo de avaliação era menor que o intervalo de scrape, então a regra avaliava regularmente sobre uma lacuna. As notification policies tinham virado uma árvore que ninguém entendia por completo, e uma rota com o label errado fazia com que uma categoria inteira de alertas estivesse indo silenciosamente para lugar nenhum.
Ambiente
Grafana em implantação híbrida, monitorando infraestrutura on-premises ligada ao SCADA e serviços em nuvem, com alertas enviados para as ferramentas de escala de plantão.
Abordagem
O suporte trata regras de alerta como código de produção. Revisamos o tratamento de no-data e de erros em todas as regras, alinhamos os intervalos de avaliação à cadência de scrape e das recording rules subjacentes e validamos que todo caminho das notification policies realmente chega a uma pessoa. Mudanças nas regras são testadas contra dados históricos antes de entrar em produção.
Solução
- Suporte 24/7 com metas de resposta a partir de 15 minutos, conforme o plano e engenheiros sêniores designados que conhecem o conjunto de alertas
- Auditoria de todas as regras de alerta quanto ao tratamento de no-data e de erros de execução, para que falhas silenciosas fiquem visíveis
- Alinhamento dos intervalos de avaliação e das durações de for à cadência de scrape e das recording rules, eliminando oscilações causadas por lacunas
- Simplificação da árvore de notification policies e verificação de ponta a ponta de cada rota com um alerta de teste
- Gestão das regras de alerta e dos contact points como configuração provisionada, para que as mudanças sejam revisáveis e reversíveis
- Revisão recorrente do volume de alertas e das taxas de reconhecimento, para aposentar as regras que ninguém usa para agir
Resultado obtido
O ruído de alertas caiu de forma expressiva depois que as regras oscilantes foram corrigidas, e as rotas que não levavam a lugar nenhum agora chegam ao plantão. Os engenheiros voltaram a confiar nos alertas, o que se reflete em tempos de reconhecimento mais curtos.