Volver a todos los casos de uso

SoporteSoftware / Plataformas digitales

Que la guardia on-call vuelva a recibir alertas que significan algo

Proveedor de plataforma SaaS B2B

Soporte continuo para un conjunto de monitores de Datadog que generaba más alertas de las que la guardia on-call podía atender de forma útil.

Descripción general

Los ingenieros on-call de un proveedor SaaS reconocían las alertas de forma refleja porque la mayoría no requería ninguna acción. AceMQ brinda soporte continuo para que el conjunto de monitores siga siendo útil, trabajando junto con el equipo del cliente en su propia organización de Datadog.

Desafío

Los monitores se habían acumulado durante años sin ningún proceso de retiro. Muchos usaban umbrales estáticos definidos para niveles de tráfico que ya no existían, así que se disparaban en cada pico normal. Los monitores compuestos generaban tormentas de alertas en las que una sola falla de fondo producía decenas de pages. Los monitores multi-alert agrupaban por un tag que con el tiempo se había vuelto de alta cardinalidad, y generaban una alerta por instancia en lugar de una por servicio. Nadie era dueño del conjunto, así que nunca se eliminaba nada.

Entorno

Datadog monitoreando un entorno multirregión de AWS y Kubernetes, con alertas enrutadas a una rotación on-call.

Enfoque

Trabajamos a partir del historial de alertas, no de opiniones: qué monitores se dispararon, con qué frecuencia y si alguien hizo algo como resultado. Los monitores que nunca llevan a una acción se retiran o se degradan a un dashboard. Los que importan reciben umbrales que reflejan el comportamiento actual, una agrupación adecuada y reglas de downtime que suprimen el ruido previsible.

Solución

  1. Soporte 24/7 con objetivos de respuesta desde 15 minutos, según el plan, e ingenieros sénior asignados integrados en la cadencia de revisión de alertas del cliente
  2. Análisis del historial de alertas por monitor para separar los que impulsan acciones de los que siempre se reconocen y se cierran
  3. Reemplazo de umbrales estáticos por condiciones basadas en anomalías o pronósticos cuando la señal de fondo tiene una estacionalidad real
  4. Corrección de la agrupación multi-alert para que las alertas lleguen por servicio y no por instancia efímera
  5. Reestructuración de la lógica de los monitores compuestos para que una falla raíz genere un solo page en lugar de una tormenta
  6. Monitores definidos como código y con responsables asignados, para que los monitores sin dueño sean visibles y se puedan eliminar

Resultado final

El volumen de pages bajó aproximadamente dos tercios y se mantuvieron los monitores que cubren un impacto real en los clientes. Los tiempos de reconocimiento mejoraron porque los ingenieros dejaron de tratar los pages como ruido de fondo.

Tecnologías

DatadogKubernetesTerraformPagerDuty

¿Necesita soporte experto de Datadog?

Los ingenieros sénior de Datadog de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.