Descripción general
Una empresa de energía depende de las alertas de Grafana para el monitoreo operativo de sus sitios de generación y distribución. AceMQ brinda soporte continuo que cubre el comportamiento de las reglas de alerta, el enrutamiento de notificaciones y la estabilidad de los datasources.
Desafío
Después de migrar del sistema de alertas heredado a unified alerting, la empresa tenía reglas que se disparaban de forma inconsistente. Algunas alertas nunca se resolvían porque la serie de fondo dejaba de reportarse y la regla no tenía manejo de no-data. Otras oscilaban (flapping) porque el intervalo de evaluación era más corto que el intervalo de scrape, así que la regla se evaluaba con frecuencia contra un hueco. Las notification policies se habían convertido en un árbol que nadie entendía del todo, y una ruta mal etiquetada hacía que toda una clase de alertas no llegara a ningún lado sin que nadie lo notara.
Entorno
Grafana en un despliegue híbrido que monitorea infraestructura on-premise vinculada a SCADA y servicios en la nube, con alertas enviadas a las herramientas de la rotación on-call.
Enfoque
El soporte trata las reglas de alerta como código de producción. Revisamos el manejo de no-data y de errores en cada regla, alineamos los intervalos de evaluación con la cadencia del scrape y de las recording rules subyacentes y validamos que cada ruta de las notification policies llegue realmente a una persona. Los cambios en las reglas se prueban contra datos históricos antes de entrar en producción.
Solución
- Soporte 24/7 con objetivos de respuesta desde 15 minutos, según el plan, e ingenieros sénior asignados que conocen el conjunto de alertas
- Auditoría de cada regla de alerta en cuanto al manejo de no-data y de errores de ejecución, para que las fallas silenciosas se vuelvan visibles
- Intervalos de evaluación y duraciones de for alineados con la cadencia del scrape y de las recording rules, para eliminar el flapping causado por huecos
- Árbol de notification policies simplificado y cada ruta verificada de punta a punta con una alerta de prueba
- Reglas de alerta y contact points administrados como configuración aprovisionada, para que los cambios se puedan revisar y revertir
- Revisión periódica del volumen de alertas y de las tasas de reconocimiento para retirar las reglas sobre las que nadie actúa
Resultado final
El ruido de alertas bajó considerablemente una vez corregidas las reglas con flapping, y las rutas que no llegaban a ningún lado ahora llegan a la guardia on-call. Los ingenieros vuelven a confiar en las alertas, y eso se refleja en tiempos de reconocimiento más rápidos.