Visão geral
Um operador logístico tinha acumulado milhares de dashboards do Grafana, espalhados por dezenas de equipes, sem nenhum modelo de responsabilidade. A AceMQ avaliou o acervo para determinar o que estava em uso real, o que estava quebrado e o que deveria ser padronizado.
Desafio
Os dashboards tinham sido clonados repetidamente, então o mesmo serviço tinha várias visões ligeiramente diferentes e nenhuma fonte da verdade clara. Uma grande parte dos painéis referenciava métricas que deixaram de existir depois de reescritas dos serviços, o que fazia os engenheiros olharem com frequência para gráficos vazios e concluírem que o serviço estava ocioso, e não que o painel estava quebrado. Não havia como saber quais dashboards importavam, porque o uso nunca tinha sido medido.
Ambiente
Grafana na AWS atendendo várias unidades de negócio, com dashboards criados de forma improvisada pela interface, sem controle de versão.
Abordagem
Extraímos o inventário completo de dashboards pela API, cruzamos cada consulta de painel com as métricas realmente presentes no datasource e acrescentamos as estatísticas de visualização para classificar por uso real. Isso gerou três listas — manter, corrigir e desativar — e um design de templates para que os dashboards futuros convirjam em vez de divergir.
Solução
- Inventário completo de dashboards e painéis extraído pela API do Grafana, incluindo a estrutura de pastas e permissões
- Validação de cada consulta de painel com os metadados ativos do datasource, para sinalizar painéis que referenciam métricas que já não existem
- Análise das estatísticas de visualização para classificar os dashboards pelo uso real, e não por quem reclama mais alto
- Análise de duplicação para identificar famílias de clones que deveriam se fundir em um único dashboard parametrizado
- Templates de dashboard reutilizáveis, com variáveis, projetados para cobrir os padrões de serviço comuns entre as equipes
- Recomendação de um modelo de provisioning-as-code para que os dashboards fiquem sob controle de versão, com responsáveis nomeados
Resultado obtido
O acervo encolheu para uma pequena fração da quantidade original de dashboards, e os que restaram têm responsável e controle de versão. Os engenheiros deixaram de interpretar painéis quebrados como serviços saudáveis, o que vinha sendo uma causa recorrente de atraso na detecção de incidentes.