Descripción general
Un proveedor logístico había acumulado miles de dashboards de Grafana en decenas de equipos sin ningún modelo de responsabilidad. AceMQ evaluó el parque para determinar qué se usaba realmente, qué estaba roto y qué debía estandarizarse.
Reto
Los dashboards se habían clonado una y otra vez, de modo que un mismo servicio tenía varias vistas ligeramente distintas y ninguna fuente de verdad clara. Una gran parte de los paneles hacía referencia a métricas que habían dejado de existir tras la reescritura de los servicios, así que los ingenieros veían con frecuencia gráficas vacías y suponían que el servicio estaba inactivo, no que el panel estaba roto. No había forma de saber qué dashboards importaban, porque nunca se había medido su uso.
Entorno
Grafana en AWS al servicio de varias unidades de negocio, con dashboards creados sobre la marcha desde la interfaz y sin control de versiones.
Enfoque
Extrajimos el inventario completo de dashboards mediante la API, cotejamos cada consulta de panel con las métricas realmente presentes en la fuente de datos y añadimos las estadísticas de visualización para ordenarlos por uso real. El resultado fueron tres listas —conservar, corregir y retirar— y un diseño de plantillas para que los dashboards futuros converjan en lugar de divergir.
Solución
- Inventario completo de dashboards y paneles extraído con la API de Grafana, incluida la estructura de carpetas y permisos
- Validación de cada consulta de panel frente a los metadatos reales de la fuente de datos para marcar los paneles que hacen referencia a métricas que ya no existen
- Análisis de las estadísticas de visualización para ordenar los dashboards por uso real y no según quién protesta más alto
- Análisis de duplicados para identificar las familias de clones que deberían fusionarse en un único dashboard parametrizado
- Plantillas de dashboard reutilizables con variables, diseñadas para cubrir los patrones de servicio habituales en todos los equipos
- Recomendación de un modelo de aprovisionamiento como código para que los dashboards estén bajo control de versiones y tengan responsables designados
Resultado final
El parque quedó reducido a una pequeña fracción del número original de dashboards, y los que sobrevivieron tienen responsable y están bajo control de versiones. Los ingenieros dejaron de interpretar paneles rotos como servicios sanos, algo que había sido una causa recurrente de detección tardía de incidentes.