Visão geral
A instância de Grafana de uma operadora de telecom ficava extremamente lenta durante incidentes graves, que é justamente quando a equipe de operações de rede dependia dela. A AceMQ corrigiu o modo de falha, em vez de simplesmente adicionar mais réplicas.
Desafio
O problema era autoinfligido: durante um incidente, dezenas de engenheiros abriam o mesmo conjunto de dashboards pesados, cada um disparando muitas range queries simultâneas contra o datasource. O backend não dava conta, os painéis davam timeout, os engenheiros atualizavam a página e a onda de retentativas piorava tudo. As escritas de sessão e de anotações do próprio Grafana no banco de dados que o sustenta aumentavam ainda mais a disputa. Nada estava quebrado isoladamente; o sistema só falhava quando era necessário.
Ambiente
Grafana em Kubernetes com um banco de dados relacional como backend, consultando Prometheus e um armazenamento de métricas de longo prazo em várias regiões.
Abordagem
Reproduzimos a falha com um teste de carga que simulava o padrão de acesso durante incidentes, e não o de operação normal. Isso deixou evidentes quais painéis eram caros. Depois, reduzimos o custo das queries por dashboard, adicionamos cache na frente do datasource e separamos a carga do banco de dados do Grafana do caminho das queries, para que a interface continue responsiva mesmo quando os datasources estão lentos.
Solução
- Teste de carga construído em torno do padrão real de acesso durante incidentes — muitos usuários simultâneos nos mesmos dashboards — em vez do tráfego médio
- Painéis caros identificados e reescritos com recording rules, para que a agregação pesada aconteça uma única vez na ingestão, e não para cada usuário
- Cache de resultados de queries adicionado na frente do datasource, com TTLs ajustados ao intervalo de atualização de cada painel
- Intervalos de atualização e intervalos de tempo padrão dos dashboards revisados para que uma aba aberta e ociosa pare de gerar carga contínua
- Banco de dados do Grafana ajustado e connection pooling corrigido para eliminar a disputa causada pelas escritas de anotações e de sessões
- Timeouts de query por painel definidos para que um datasource lento afete um único painel em vez de travar o dashboard inteiro
Resultado obtido
O tempo de carregamento dos dashboards durante incidentes caiu de dezenas de segundos para praticamente instantâneo, e as ondas de retentativas não acontecem mais. A equipe de operações de rede agora usa o Grafana durante incidentes graves, em vez de recorrer a queries improvisadas.