Volver a todos los casos de uso

EvaluaciónMultisectorial

Separar los dashboards en los que confía la gente de los que nadie ha abierto en un año

Proveedor logístico global

Evaluación de un parque de dashboards de Grafana descontrolado para identificar duplicados, paneles rotos y el pequeño conjunto de dashboards que alguien usa de verdad.

Descripción general

Un proveedor logístico había acumulado miles de dashboards de Grafana en decenas de equipos sin ningún modelo de responsabilidad. AceMQ evaluó el parque para determinar qué se usaba realmente, qué estaba roto y qué debía estandarizarse.

Reto

Los dashboards se habían clonado una y otra vez, de modo que un mismo servicio tenía varias vistas ligeramente distintas y ninguna fuente de verdad clara. Una gran parte de los paneles hacía referencia a métricas que habían dejado de existir tras la reescritura de los servicios, así que los ingenieros veían con frecuencia gráficas vacías y suponían que el servicio estaba inactivo, no que el panel estaba roto. No había forma de saber qué dashboards importaban, porque nunca se había medido su uso.

Entorno

Grafana en AWS al servicio de varias unidades de negocio, con dashboards creados sobre la marcha desde la interfaz y sin control de versiones.

Enfoque

Extrajimos el inventario completo de dashboards mediante la API, cotejamos cada consulta de panel con las métricas realmente presentes en la fuente de datos y añadimos las estadísticas de visualización para ordenarlos por uso real. El resultado fueron tres listas —conservar, corregir y retirar— y un diseño de plantillas para que los dashboards futuros converjan en lugar de divergir.

Solución

  1. Inventario completo de dashboards y paneles extraído con la API de Grafana, incluida la estructura de carpetas y permisos
  2. Validación de cada consulta de panel frente a los metadatos reales de la fuente de datos para marcar los paneles que hacen referencia a métricas que ya no existen
  3. Análisis de las estadísticas de visualización para ordenar los dashboards por uso real y no según quién protesta más alto
  4. Análisis de duplicados para identificar las familias de clones que deberían fusionarse en un único dashboard parametrizado
  5. Plantillas de dashboard reutilizables con variables, diseñadas para cubrir los patrones de servicio habituales en todos los equipos
  6. Recomendación de un modelo de aprovisionamiento como código para que los dashboards estén bajo control de versiones y tengan responsables designados

Resultado final

El parque quedó reducido a una pequeña fracción del número original de dashboards, y los que sobrevivieron tienen responsable y están bajo control de versiones. Los ingenieros dejaron de interpretar paneles rotos como servicios sanos, algo que había sido una causa recurrente de detección tardía de incidentes.

Tecnologías

GrafanaPrometheusAmazon S3Terraform

¿Preparado para un health check de Grafana?

Los ingenieros sénior de Grafana de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.