Volver a todos los casos de uso

SoporteEnergía / Servicios públicos

Alertas que saltan cuando deben y callan cuando no

Empresa de servicios energéticos

Soporte continuo para Grafana unified alerting, el enrutamiento de notificaciones y la fiabilidad de los datasources en un entorno de monitorización operativa.

Descripción general

Una empresa de servicios energéticos depende de las alertas de Grafana para la monitorización operativa de sus centros de generación y distribución. AceMQ presta soporte continuo que abarca el comportamiento de las reglas de alerta, el enrutamiento de notificaciones y la estabilidad de los datasources.

Reto

Tras migrar del sistema de alertas heredado a unified alerting, la empresa tenía reglas que saltaban de forma irregular. Algunas alertas nunca se resolvían porque la serie subyacente dejaba de reportarse y la regla no tenía tratamiento para la ausencia de datos. Otras oscilaban porque el intervalo de evaluación era más corto que el intervalo de scrape, de modo que la regla se evaluaba con frecuencia sobre un hueco. Las políticas de notificación se habían convertido en un árbol que nadie entendía del todo, y una ruta mal etiquetada hacía que toda una clase de alertas no llegara a ninguna parte sin que nadie lo supiera.

Entorno

Grafana en un despliegue híbrido que monitoriza infraestructura on-premise vinculada a SCADA y servicios en la nube, con alertas que llegan a las herramientas del turno de guardia.

Enfoque

El soporte trata las reglas de alerta como código de producción. Revisamos el tratamiento de la ausencia de datos y de los errores en cada regla, alineamos los intervalos de evaluación con la cadencia de scrape y de las recording rules subyacentes y validamos que cada ruta de las políticas de notificación llega realmente a una persona. Los cambios en las reglas se prueban con datos históricos antes de pasar a producción.

Solución

  1. Soporte 24/7 con objetivos de respuesta desde 15 minutos, según el plan, e ingenieros sénior asignados que conocen el conjunto de alertas
  2. Auditoría de todas las reglas de alerta para el tratamiento de la ausencia de datos y de los errores de ejecución, de modo que los fallos silenciosos se hagan visibles
  3. Alineación de los intervalos de evaluación y de los periodos for con la cadencia de scrape y de las recording rules para eliminar las oscilaciones provocadas por huecos
  4. Simplificación del árbol de políticas de notificación y verificación de extremo a extremo de cada ruta con una alerta de prueba
  5. Reglas de alerta y contact points gestionados como configuración aprovisionada, de modo que los cambios se pueden revisar y revertir
  6. Revisión periódica del volumen de alertas y de las tasas de reconocimiento para retirar las reglas que no generan ninguna acción

Resultado final

El ruido de alertas se redujo de forma considerable al corregir las reglas que oscilaban, y las rutas que no llegaban a ninguna parte alcanzan ahora a la guardia. Los ingenieros vuelven a confiar en las alertas, y eso se nota en unos tiempos de reconocimiento más rápidos.

Tecnologías

GrafanaPrometheusAlertmanagerLinux

¿Necesita soporte experto de Grafana?

Los ingenieros sénior de Grafana de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.