Descripción general
Los ingenieros on-call de un proveedor SaaS reconocían las alertas de forma refleja porque la mayoría no requería ninguna acción. AceMQ brinda soporte continuo para que el conjunto de monitores siga siendo útil, trabajando junto con el equipo del cliente en su propia organización de Datadog.
Desafío
Los monitores se habían acumulado durante años sin ningún proceso de retiro. Muchos usaban umbrales estáticos definidos para niveles de tráfico que ya no existían, así que se disparaban en cada pico normal. Los monitores compuestos generaban tormentas de alertas en las que una sola falla de fondo producía decenas de pages. Los monitores multi-alert agrupaban por un tag que con el tiempo se había vuelto de alta cardinalidad, y generaban una alerta por instancia en lugar de una por servicio. Nadie era dueño del conjunto, así que nunca se eliminaba nada.
Entorno
Datadog monitoreando un entorno multirregión de AWS y Kubernetes, con alertas enrutadas a una rotación on-call.
Enfoque
Trabajamos a partir del historial de alertas, no de opiniones: qué monitores se dispararon, con qué frecuencia y si alguien hizo algo como resultado. Los monitores que nunca llevan a una acción se retiran o se degradan a un dashboard. Los que importan reciben umbrales que reflejan el comportamiento actual, una agrupación adecuada y reglas de downtime que suprimen el ruido previsible.
Solución
- Soporte 24/7 con objetivos de respuesta desde 15 minutos, según el plan, e ingenieros sénior asignados integrados en la cadencia de revisión de alertas del cliente
- Análisis del historial de alertas por monitor para separar los que impulsan acciones de los que siempre se reconocen y se cierran
- Reemplazo de umbrales estáticos por condiciones basadas en anomalías o pronósticos cuando la señal de fondo tiene una estacionalidad real
- Corrección de la agrupación multi-alert para que las alertas lleguen por servicio y no por instancia efímera
- Reestructuración de la lógica de los monitores compuestos para que una falla raíz genere un solo page en lugar de una tormenta
- Monitores definidos como código y con responsables asignados, para que los monitores sin dueño sean visibles y se puedan eliminar
Resultado final
El volumen de pages bajó aproximadamente dos tercios y se mantuvieron los monitores que cubren un impacto real en los clientes. Los tiempos de reconocimiento mejoraron porque los ingenieros dejaron de tratar los pages como ruido de fondo.