Voltar a todos os casos de utilização

AvaliaçãoTransversal a vários setores

Separar os dashboards de que as pessoas dependem dos que ninguém abre há um ano

Fornecedor global de logística

Avaliação de um parque de dashboards Grafana descontrolado para identificar duplicações, painéis avariados e o pequeno conjunto de dashboards que alguém utiliza de facto.

Visão geral

Um fornecedor de logística tinha acumulado milhares de dashboards Grafana em dezenas de equipas, sem qualquer modelo de responsabilidade. A AceMQ avaliou o parque para determinar o que estava realmente em uso, o que estava avariado e o que devia ser normalizado.

Desafio

Os dashboards tinham sido clonados repetidamente, pelo que o mesmo serviço tinha várias vistas ligeiramente diferentes e nenhuma fonte de verdade clara. Uma grande parte dos painéis referia métricas que tinham deixado de existir após reescritas de serviços, o que fazia com que os engenheiros olhassem regularmente para gráficos vazios e assumissem que o serviço estava inativo, e não que o painel estava avariado. Não havia forma de saber que dashboards importavam, porque a utilização nunca tinha sido registada.

Ambiente

Grafana na AWS ao serviço de várias unidades de negócio, com dashboards criados ad hoc através da interface, sem controlo de versões.

Abordagem

Extraímos o inventário completo de dashboards através da API, cruzámos cada query de painel com as métricas efetivamente presentes na datasource e acrescentámos as estatísticas de visualização para ordenar por utilização real. Daí resultaram três listas (manter, corrigir e retirar), mais um desenho de templates para que os futuros dashboards convirjam em vez de divergirem.

Solução

  1. Inventário completo de dashboards e painéis extraído através da API do Grafana, incluindo a estrutura de pastas e permissões
  2. Validação de cada query de painel face aos metadados da datasource em produção, para assinalar painéis que referem métricas que já não existem
  3. Análise das estatísticas de visualização para ordenar os dashboards pela utilização real, e não por quem grita mais alto
  4. Análise de duplicações para identificar famílias de clones que devem ser fundidas num único dashboard parametrizado
  5. Templates de dashboards reutilizáveis com variáveis, desenhados para cobrir os padrões de serviço comuns às equipas
  6. Recomendação de um modelo de provisioning as code para que os dashboards fiquem em controlo de versões, com responsáveis identificados

Resultado final

O parque ficou reduzido a uma pequena fração do número original de dashboards, e os que sobreviveram passaram a ter responsáveis e controlo de versões. Os engenheiros deixaram de interpretar painéis avariados como serviços saudáveis, o que tinha sido uma causa recorrente de deteção tardia de incidentes.

Tecnologias

GrafanaPrometheusAmazon S3Terraform

Pronto para um health check ao Grafana?

Os engenheiros seniores de Grafana da AceMQ já trataram exatamente este tipo de projeto. Quer precise de orientação de arquitetura, de correção prática ou de uma parceria de gestão contínua, estamos prontos para ajudar.