Descripción general
Una empresa de servicios energéticos depende de las alertas de Grafana para la monitorización operativa de sus centros de generación y distribución. AceMQ presta soporte continuo que abarca el comportamiento de las reglas de alerta, el enrutamiento de notificaciones y la estabilidad de los datasources.
Reto
Tras migrar del sistema de alertas heredado a unified alerting, la empresa tenía reglas que saltaban de forma irregular. Algunas alertas nunca se resolvían porque la serie subyacente dejaba de reportarse y la regla no tenía tratamiento para la ausencia de datos. Otras oscilaban porque el intervalo de evaluación era más corto que el intervalo de scrape, de modo que la regla se evaluaba con frecuencia sobre un hueco. Las políticas de notificación se habían convertido en un árbol que nadie entendía del todo, y una ruta mal etiquetada hacía que toda una clase de alertas no llegara a ninguna parte sin que nadie lo supiera.
Entorno
Grafana en un despliegue híbrido que monitoriza infraestructura on-premise vinculada a SCADA y servicios en la nube, con alertas que llegan a las herramientas del turno de guardia.
Enfoque
El soporte trata las reglas de alerta como código de producción. Revisamos el tratamiento de la ausencia de datos y de los errores en cada regla, alineamos los intervalos de evaluación con la cadencia de scrape y de las recording rules subyacentes y validamos que cada ruta de las políticas de notificación llega realmente a una persona. Los cambios en las reglas se prueban con datos históricos antes de pasar a producción.
Solución
- Soporte 24/7 con objetivos de respuesta desde 15 minutos, según el plan, e ingenieros sénior asignados que conocen el conjunto de alertas
- Auditoría de todas las reglas de alerta para el tratamiento de la ausencia de datos y de los errores de ejecución, de modo que los fallos silenciosos se hagan visibles
- Alineación de los intervalos de evaluación y de los periodos for con la cadencia de scrape y de las recording rules para eliminar las oscilaciones provocadas por huecos
- Simplificación del árbol de políticas de notificación y verificación de extremo a extremo de cada ruta con una alerta de prueba
- Reglas de alerta y contact points gestionados como configuración aprovisionada, de modo que los cambios se pueden revisar y revertir
- Revisión periódica del volumen de alertas y de las tasas de reconocimiento para retirar las reglas que no generan ninguna acción
Resultado final
El ruido de alertas se redujo de forma considerable al corregir las reglas que oscilaban, y las rutas que no llegaban a ninguna parte alcanzan ahora a la guardia. Los ingenieros vuelven a confiar en las alertas, y eso se nota en unos tiempos de reconocimiento más rápidos.