Voltar para todos os casos de uso

AvaliaçãoMultissetorial

Separar os dashboards de que as pessoas dependem dos que ninguém abre há um ano

Operador logístico global

Avaliação de um acervo extenso de dashboards do Grafana para identificar duplicações, painéis quebrados e o pequeno conjunto de dashboards que alguém realmente usa.

Visão geral

Um operador logístico tinha acumulado milhares de dashboards do Grafana, espalhados por dezenas de equipes, sem nenhum modelo de responsabilidade. A AceMQ avaliou o acervo para determinar o que estava em uso real, o que estava quebrado e o que deveria ser padronizado.

Desafio

Os dashboards tinham sido clonados repetidamente, então o mesmo serviço tinha várias visões ligeiramente diferentes e nenhuma fonte da verdade clara. Uma grande parte dos painéis referenciava métricas que deixaram de existir depois de reescritas dos serviços, o que fazia os engenheiros olharem com frequência para gráficos vazios e concluírem que o serviço estava ocioso, e não que o painel estava quebrado. Não havia como saber quais dashboards importavam, porque o uso nunca tinha sido medido.

Ambiente

Grafana na AWS atendendo várias unidades de negócio, com dashboards criados de forma improvisada pela interface, sem controle de versão.

Abordagem

Extraímos o inventário completo de dashboards pela API, cruzamos cada consulta de painel com as métricas realmente presentes no datasource e acrescentamos as estatísticas de visualização para classificar por uso real. Isso gerou três listas — manter, corrigir e desativar — e um design de templates para que os dashboards futuros convirjam em vez de divergir.

Solução

  1. Inventário completo de dashboards e painéis extraído pela API do Grafana, incluindo a estrutura de pastas e permissões
  2. Validação de cada consulta de painel com os metadados ativos do datasource, para sinalizar painéis que referenciam métricas que já não existem
  3. Análise das estatísticas de visualização para classificar os dashboards pelo uso real, e não por quem reclama mais alto
  4. Análise de duplicação para identificar famílias de clones que deveriam se fundir em um único dashboard parametrizado
  5. Templates de dashboard reutilizáveis, com variáveis, projetados para cobrir os padrões de serviço comuns entre as equipes
  6. Recomendação de um modelo de provisioning-as-code para que os dashboards fiquem sob controle de versão, com responsáveis nomeados

Resultado obtido

O acervo encolheu para uma pequena fração da quantidade original de dashboards, e os que restaram têm responsável e controle de versão. Os engenheiros deixaram de interpretar painéis quebrados como serviços saudáveis, o que vinha sendo uma causa recorrente de atraso na detecção de incidentes.

Tecnologias

GrafanaPrometheusAmazon S3Terraform

Pronto para um health check do Grafana?

Os engenheiros Grafana sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.