Voltar para todos os casos de uso

CorreçãoTelecomunicações

Consertar a stack de monitoramento que falha exatamente na pior hora

Operadora de telecomunicações

Correção de uma implantação de Grafana que ficava inutilizável durante incidentes, com dashboards dando timeout justamente quando os engenheiros mais precisavam deles.

Visão geral

A instância de Grafana de uma operadora de telecom ficava extremamente lenta durante incidentes graves, que é justamente quando a equipe de operações de rede dependia dela. A AceMQ corrigiu o modo de falha, em vez de simplesmente adicionar mais réplicas.

Desafio

O problema era autoinfligido: durante um incidente, dezenas de engenheiros abriam o mesmo conjunto de dashboards pesados, cada um disparando muitas range queries simultâneas contra o datasource. O backend não dava conta, os painéis davam timeout, os engenheiros atualizavam a página e a onda de retentativas piorava tudo. As escritas de sessão e de anotações do próprio Grafana no banco de dados que o sustenta aumentavam ainda mais a disputa. Nada estava quebrado isoladamente; o sistema só falhava quando era necessário.

Ambiente

Grafana em Kubernetes com um banco de dados relacional como backend, consultando Prometheus e um armazenamento de métricas de longo prazo em várias regiões.

Abordagem

Reproduzimos a falha com um teste de carga que simulava o padrão de acesso durante incidentes, e não o de operação normal. Isso deixou evidentes quais painéis eram caros. Depois, reduzimos o custo das queries por dashboard, adicionamos cache na frente do datasource e separamos a carga do banco de dados do Grafana do caminho das queries, para que a interface continue responsiva mesmo quando os datasources estão lentos.

Solução

  1. Teste de carga construído em torno do padrão real de acesso durante incidentes — muitos usuários simultâneos nos mesmos dashboards — em vez do tráfego médio
  2. Painéis caros identificados e reescritos com recording rules, para que a agregação pesada aconteça uma única vez na ingestão, e não para cada usuário
  3. Cache de resultados de queries adicionado na frente do datasource, com TTLs ajustados ao intervalo de atualização de cada painel
  4. Intervalos de atualização e intervalos de tempo padrão dos dashboards revisados para que uma aba aberta e ociosa pare de gerar carga contínua
  5. Banco de dados do Grafana ajustado e connection pooling corrigido para eliminar a disputa causada pelas escritas de anotações e de sessões
  6. Timeouts de query por painel definidos para que um datasource lento afete um único painel em vez de travar o dashboard inteiro

Resultado obtido

O tempo de carregamento dos dashboards durante incidentes caiu de dezenas de segundos para praticamente instantâneo, e as ondas de retentativas não acontecem mais. A equipe de operações de rede agora usa o Grafana durante incidentes graves, em vez de recorrer a queries improvisadas.

Tecnologias

GrafanaPrometheusKubernetesPostgreSQL

Enfrentando um problema de produção com Grafana?

Os engenheiros Grafana sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.