Descripción general
La instancia de Grafana de un operador de telecomunicaciones se volvía lentísima durante los incidentes graves, que es precisamente cuando el equipo de operaciones de red dependía de ella. AceMQ corrigió el modo de fallo en lugar de añadir más réplicas.
Reto
El patrón era autoinfligido: durante un incidente, decenas de ingenieros abrían el mismo conjunto de dashboards pesados, y cada uno lanzaba muchas consultas de rango concurrentes contra el datasource. El backend no daba abasto, los paneles agotaban el tiempo de espera, los ingenieros pulsaban refrescar y la avalancha de reintentos lo empeoraba todo. Encima, las escrituras de sesiones y anotaciones del propio Grafana en su base de datos añadían más contención. Nada estaba roto por separado; el sistema solo fallaba cuando se le necesitaba.
Entorno
Grafana en Kubernetes con una base de datos relacional como respaldo, consultando Prometheus y un almacenamiento de métricas a largo plazo en varias regiones.
Enfoque
Reprodujimos el fallo con pruebas de carga basadas en el patrón de acceso durante un incidente, no en el de estado estable. Eso dejó a la vista los paneles costosos concretos. Después redujimos el coste de las consultas por dashboard, añadimos caché por delante del datasource y separamos la carga de la base de datos de Grafana de la ruta de consulta, para que la interfaz siga respondiendo aunque los datasources vayan lentos.
Solución
- Prueba de carga construida en torno al patrón de acceso real durante un incidente (muchos usuarios simultáneos en los mismos dashboards) y no en torno al tráfico medio
- Identificación y reescritura de los paneles costosos con recording rules, para que la agregación pesada se haga una sola vez en la ingesta y no por cada usuario
- Caché de resultados de consultas por delante del datasource, con TTL ajustados al intervalo de refresco de cada panel
- Revisión de los intervalos de refresco y de los rangos de tiempo por defecto de los dashboards, para que una pestaña abierta e inactiva deje de generar carga continua
- Ajuste de la base de datos de Grafana y corrección del pooling de conexiones para eliminar la contención de las escrituras de anotaciones y sesiones
- Timeouts de consulta por panel, para que un datasource lento degrade un solo panel en lugar de bloquear el dashboard entero
Resultado final
Los tiempos de carga de los dashboards durante los incidentes bajaron de decenas de segundos a prácticamente instantáneos, y la avalancha de reintentos ya no se produce. El equipo de operaciones de red utiliza ahora Grafana durante los incidentes graves en lugar de recurrir a consultas improvisadas.