Descripción general
La instancia de Grafana de un operador de telecomunicaciones se volvía extremadamente lenta durante los incidentes graves, que es precisamente cuando el equipo de operaciones de red dependía de ella. AceMQ corrigió el modo de falla en lugar de agregar más réplicas.
Desafío
El problema era autoinfligido: durante un incidente, decenas de ingenieros abrían el mismo conjunto de dashboards pesados, y cada uno lanzaba muchas consultas de rango concurrentes contra la fuente de datos. El backend no daba abasto, los paneles agotaban el tiempo de espera, los ingenieros actualizaban la página y la tormenta de reintentos lo empeoraba. Las escrituras de sesiones y anotaciones de Grafana en su propia base de datos sumaban contención. Nada fallaba por separado; el sistema solo fallaba cuando se lo necesitaba.
Entorno
Grafana en Kubernetes con una base de datos relacional de respaldo, que consulta Prometheus y un almacenamiento de métricas a largo plazo en varias regiones.
Enfoque
Reprodujimos la falla con pruebas de carga del patrón de acceso durante incidentes, en lugar del patrón en estado estable. Eso dejó en evidencia los paneles costosos concretos. Luego redujimos el costo de las consultas por dashboard, agregamos caché delante de la fuente de datos y separamos la carga de la base de datos de Grafana de la ruta de consultas, para que la interfaz siga respondiendo incluso cuando las fuentes de datos están lentas.
Solución
- Prueba de carga construida en torno al patrón real de acceso durante incidentes (muchos usuarios concurrentes en los mismos dashboards) y no al tráfico promedio
- Identificación de los paneles costosos y reescritura con recording rules para que la agregación pesada ocurra una sola vez en la ingesta y no por cada usuario
- Caché de resultados de consultas delante de la fuente de datos, con TTL ajustados según el intervalo de actualización de cada panel
- Revisión de los intervalos de actualización de los dashboards y de los rangos de tiempo predeterminados para que una pestaña abierta sin uso deje de generar carga continua
- Ajuste de la base de datos de Grafana y corrección del pooling de conexiones para eliminar la contención por las escrituras de anotaciones y sesiones
- Timeouts de consulta a nivel de panel para que una fuente de datos lenta degrade un solo panel en lugar de bloquear todo el dashboard
Resultado final
Los tiempos de carga de los dashboards durante los incidentes pasaron de decenas de segundos a ser casi instantáneos, y el patrón de tormenta de reintentos ya no se produce. El equipo de operaciones de red ahora usa Grafana durante los incidentes graves en lugar de recurrir a consultas improvisadas.