Visão geral
Um fornecedor de logística tinha acumulado milhares de dashboards Grafana em dezenas de equipas, sem qualquer modelo de responsabilidade. A AceMQ avaliou o parque para determinar o que estava realmente em uso, o que estava avariado e o que devia ser normalizado.
Desafio
Os dashboards tinham sido clonados repetidamente, pelo que o mesmo serviço tinha várias vistas ligeiramente diferentes e nenhuma fonte de verdade clara. Uma grande parte dos painéis referia métricas que tinham deixado de existir após reescritas de serviços, o que fazia com que os engenheiros olhassem regularmente para gráficos vazios e assumissem que o serviço estava inativo, e não que o painel estava avariado. Não havia forma de saber que dashboards importavam, porque a utilização nunca tinha sido registada.
Ambiente
Grafana na AWS ao serviço de várias unidades de negócio, com dashboards criados ad hoc através da interface, sem controlo de versões.
Abordagem
Extraímos o inventário completo de dashboards através da API, cruzámos cada query de painel com as métricas efetivamente presentes na datasource e acrescentámos as estatísticas de visualização para ordenar por utilização real. Daí resultaram três listas (manter, corrigir e retirar), mais um desenho de templates para que os futuros dashboards convirjam em vez de divergirem.
Solução
- Inventário completo de dashboards e painéis extraído através da API do Grafana, incluindo a estrutura de pastas e permissões
- Validação de cada query de painel face aos metadados da datasource em produção, para assinalar painéis que referem métricas que já não existem
- Análise das estatísticas de visualização para ordenar os dashboards pela utilização real, e não por quem grita mais alto
- Análise de duplicações para identificar famílias de clones que devem ser fundidas num único dashboard parametrizado
- Templates de dashboards reutilizáveis com variáveis, desenhados para cobrir os padrões de serviço comuns às equipas
- Recomendação de um modelo de provisioning as code para que os dashboards fiquem em controlo de versões, com responsáveis identificados
Resultado final
O parque ficou reduzido a uma pequena fração do número original de dashboards, e os que sobreviveram passaram a ter responsáveis e controlo de versões. Os engenheiros deixaram de interpretar painéis avariados como serviços saudáveis, o que tinha sido uma causa recorrente de deteção tardia de incidentes.