Volver a todos los casos de uso

EvaluaciónMultisectorial

Separar los dashboards en los que la gente confía de los que nadie abrió en un año

Proveedor global de logística

Evaluación de un parque de dashboards de Grafana fuera de control para identificar duplicados, paneles rotos y el pequeño conjunto de dashboards que alguien realmente usa.

Descripción general

Un proveedor de logística había acumulado miles de dashboards de Grafana en decenas de equipos sin ningún modelo de propiedad. AceMQ evaluó el parque para determinar qué se usaba realmente, qué estaba roto y qué debía estandarizarse.

Desafío

Los dashboards se habían clonado una y otra vez, así que un mismo servicio tenía varias vistas ligeramente distintas y ninguna fuente de verdad clara. Una gran parte de los paneles hacía referencia a métricas que ya no existían tras la reescritura de servicios, lo que significaba que los ingenieros miraban con frecuencia gráficos vacíos y suponían que el servicio estaba inactivo, no que el panel estaba roto. No había forma de saber qué dashboards importaban, porque nunca se había medido su uso.

Entorno

Grafana en AWS al servicio de varias unidades de negocio, con dashboards creados sobre la marcha desde la interfaz y sin control de versiones.

Enfoque

Extrajimos el inventario completo de dashboards a través de la API, contrastamos cada consulta de panel con las métricas realmente presentes en el datasource y agregamos las estadísticas de visualización para ordenarlos según su uso real. Eso produjo tres listas (conservar, corregir y retirar), además de un diseño de plantillas para que los dashboards futuros converjan en lugar de divergir.

Solución

  1. Inventario completo de dashboards y paneles extraído mediante la API de Grafana, incluida la estructura de carpetas y permisos
  2. Validación de cada consulta de panel contra los metadatos en vivo del datasource para señalar los paneles que hacen referencia a métricas que ya no existen
  3. Análisis de las estadísticas de visualización para ordenar los dashboards según su uso real y no según quién reclama más fuerte
  4. Análisis de duplicación para identificar familias de clones que deberían fusionarse en un solo dashboard parametrizado
  5. Plantillas de dashboards reutilizables, con variables diseñadas para cubrir los patrones de servicio comunes entre equipos
  6. Recomendación de un modelo de aprovisionamiento como código para que los dashboards vivan en control de versiones con responsables designados

Resultado final

El parque se redujo a una pequeña fracción de su cantidad original de dashboards, y los que quedaron tienen responsables y están bajo control de versiones. Los ingenieros dejaron de interpretar paneles rotos como servicios sanos, algo que había sido una causa recurrente de demoras en la detección de incidentes.

Tecnologías

GrafanaPrometheusAmazon S3Terraform

¿Listo para un health check de Grafana?

Los ingenieros sénior de Grafana de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.