Descripción general
Los ingenieros de guardia de un proveedor SaaS reconocían las alertas por puro reflejo, porque la mayoría no requería ninguna acción. AceMQ presta soporte continuo para que el parque de monitores siga siendo útil y trabaja junto al equipo del cliente en su propia organización de Datadog.
Reto
Los monitores se habían ido acumulando durante años sin ningún proceso de retirada. Muchos usaban umbrales estáticos fijados para niveles de tráfico que ya no existían, de modo que saltaban en cada pico normal. Los monitores compuestos provocaban tormentas de alertas en las que un único fallo de fondo generaba decenas de avisos. Los monitores multialerta agrupaban por una etiqueta que con el tiempo había pasado a tener una cardinalidad alta, lo que producía una alerta por instancia en lugar de una por servicio. Nadie era responsable del parque, así que nunca se eliminaba nada.
Entorno
Datadog monitorizando un entorno multirregión de AWS y Kubernetes, con las alertas enrutadas a un turno de guardia.
Enfoque
Trabajamos a partir del historial de alertas y no de opiniones: qué monitores saltaron, con qué frecuencia y si alguien hizo algo como consecuencia. Los monitores que nunca llevan a una acción se retiran o se relegan a un dashboard. Los que importan reciben umbrales que reflejan el comportamiento actual, una agrupación adecuada y reglas de downtime que suprimen el ruido previsible.
Solución
- Soporte 24/7 con objetivos de respuesta desde 15 minutos, según el plan, e ingenieros sénior asignados integrados en el ciclo de revisión de alertas del cliente
- Análisis del historial de alertas por monitor para separar los que generan acciones de los que siempre se reconocen y se cierran sin más
- Sustitución de los umbrales estáticos por condiciones basadas en anomalías o en previsiones allí donde la señal tiene una estacionalidad real
- Corrección de la agrupación de los monitores multialerta para que las alertas lleguen por servicio y no por instancia efímera
- Reestructuración de la lógica de los monitores compuestos para que un único fallo raíz genere un solo aviso en lugar de una tormenta
- Monitores definidos como código y con responsable asignado, de forma que los que no tienen dueño quedan a la vista y se pueden eliminar
Resultado final
El volumen de avisos se redujo aproximadamente en dos tercios y se mantuvieron todos los monitores que cubren un impacto real en los clientes. Los tiempos de reconocimiento mejoraron porque los ingenieros dejaron de tratar los avisos como ruido de fondo.