Volver a todos los casos de uso

SoporteSoftware / Plataformas digitales

Que la guardia vuelva a recibir solo alertas que significan algo

Proveedor de plataforma SaaS B2B

Soporte continuo para un parque de monitores de Datadog que generaba más alertas de las que la guardia podía atender de forma útil.

Descripción general

Los ingenieros de guardia de un proveedor SaaS reconocían las alertas por puro reflejo, porque la mayoría no requería ninguna acción. AceMQ presta soporte continuo para que el parque de monitores siga siendo útil y trabaja junto al equipo del cliente en su propia organización de Datadog.

Reto

Los monitores se habían ido acumulando durante años sin ningún proceso de retirada. Muchos usaban umbrales estáticos fijados para niveles de tráfico que ya no existían, de modo que saltaban en cada pico normal. Los monitores compuestos provocaban tormentas de alertas en las que un único fallo de fondo generaba decenas de avisos. Los monitores multialerta agrupaban por una etiqueta que con el tiempo había pasado a tener una cardinalidad alta, lo que producía una alerta por instancia en lugar de una por servicio. Nadie era responsable del parque, así que nunca se eliminaba nada.

Entorno

Datadog monitorizando un entorno multirregión de AWS y Kubernetes, con las alertas enrutadas a un turno de guardia.

Enfoque

Trabajamos a partir del historial de alertas y no de opiniones: qué monitores saltaron, con qué frecuencia y si alguien hizo algo como consecuencia. Los monitores que nunca llevan a una acción se retiran o se relegan a un dashboard. Los que importan reciben umbrales que reflejan el comportamiento actual, una agrupación adecuada y reglas de downtime que suprimen el ruido previsible.

Solución

  1. Soporte 24/7 con objetivos de respuesta desde 15 minutos, según el plan, e ingenieros sénior asignados integrados en el ciclo de revisión de alertas del cliente
  2. Análisis del historial de alertas por monitor para separar los que generan acciones de los que siempre se reconocen y se cierran sin más
  3. Sustitución de los umbrales estáticos por condiciones basadas en anomalías o en previsiones allí donde la señal tiene una estacionalidad real
  4. Corrección de la agrupación de los monitores multialerta para que las alertas lleguen por servicio y no por instancia efímera
  5. Reestructuración de la lógica de los monitores compuestos para que un único fallo raíz genere un solo aviso en lugar de una tormenta
  6. Monitores definidos como código y con responsable asignado, de forma que los que no tienen dueño quedan a la vista y se pueden eliminar

Resultado final

El volumen de avisos se redujo aproximadamente en dos tercios y se mantuvieron todos los monitores que cubren un impacto real en los clientes. Los tiempos de reconocimiento mejoraron porque los ingenieros dejaron de tratar los avisos como ruido de fondo.

Tecnologías

DatadogKubernetesTerraformPagerDuty

¿Necesita soporte experto de Datadog?

Los ingenieros sénior de Datadog de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.