Descripción general
Un proveedor de logística había acumulado miles de dashboards de Grafana en decenas de equipos sin ningún modelo de propiedad. AceMQ evaluó el parque para determinar qué se usaba realmente, qué estaba roto y qué debía estandarizarse.
Desafío
Los dashboards se habían clonado una y otra vez, así que un mismo servicio tenía varias vistas ligeramente distintas y ninguna fuente de verdad clara. Una gran parte de los paneles hacía referencia a métricas que ya no existían tras la reescritura de servicios, lo que significaba que los ingenieros miraban con frecuencia gráficos vacíos y suponían que el servicio estaba inactivo, no que el panel estaba roto. No había forma de saber qué dashboards importaban, porque nunca se había medido su uso.
Entorno
Grafana en AWS al servicio de varias unidades de negocio, con dashboards creados sobre la marcha desde la interfaz y sin control de versiones.
Enfoque
Extrajimos el inventario completo de dashboards a través de la API, contrastamos cada consulta de panel con las métricas realmente presentes en el datasource y agregamos las estadísticas de visualización para ordenarlos según su uso real. Eso produjo tres listas (conservar, corregir y retirar), además de un diseño de plantillas para que los dashboards futuros converjan en lugar de divergir.
Solución
- Inventario completo de dashboards y paneles extraído mediante la API de Grafana, incluida la estructura de carpetas y permisos
- Validación de cada consulta de panel contra los metadatos en vivo del datasource para señalar los paneles que hacen referencia a métricas que ya no existen
- Análisis de las estadísticas de visualización para ordenar los dashboards según su uso real y no según quién reclama más fuerte
- Análisis de duplicación para identificar familias de clones que deberían fusionarse en un solo dashboard parametrizado
- Plantillas de dashboards reutilizables, con variables diseñadas para cubrir los patrones de servicio comunes entre equipos
- Recomendación de un modelo de aprovisionamiento como código para que los dashboards vivan en control de versiones con responsables designados
Resultado final
El parque se redujo a una pequeña fracción de su cantidad original de dashboards, y los que quedaron tienen responsables y están bajo control de versiones. Los ingenieros dejaron de interpretar paneles rotos como servicios sanos, algo que había sido una causa recurrente de demoras en la detección de incidentes.