Panoramica
Gli ingegneri reperibili di un fornitore SaaS confermavano gli alert per riflesso, perché la maggior parte non richiedeva alcuna azione. AceMQ fornisce supporto continuativo per mantenere significativo il parco di monitor, lavorando a fianco del team del cliente sulla sua organizzazione Datadog.
Sfida
I monitor si erano accumulati negli anni senza alcun processo di dismissione. Molti usavano soglie statiche impostate su livelli di traffico ormai superati, quindi scattavano a ogni normale picco. I composite monitor generavano tempeste di alert in cui un unico guasto sottostante produceva decine di notifiche. I multi-alert monitor raggruppavano per un tag che nel frattempo era diventato ad alta cardinalità, generando un alert per istanza anziché uno per servizio. Nessuno era responsabile del parco, quindi non veniva mai rimosso nulla.
Ambiente
Datadog che monitora un'installazione AWS e Kubernetes multi-regione, con alert instradati verso un turno di reperibilità.
Approccio
Lavoriamo sullo storico degli alert, non sulle opinioni: quali monitor sono scattati, con quale frequenza e se qualcuno ha fatto qualcosa di conseguenza. I monitor che non portano mai a un'azione vengono dismessi o declassati a dashboard. Quelli che contano ricevono soglie che riflettono il comportamento attuale, un raggruppamento appropriato e regole di downtime che sopprimono il rumore prevedibile.
Soluzione
- Supporto 24/7 con obiettivi di risposta da 15 minuti, in base al piano, e ingegneri senior dedicati inseriti nel ciclo di revisione degli alert del cliente
- Analisi dello storico degli alert per monitor, per separare quelli che portano a un'azione da quelli che vengono sempre confermati e chiusi
- Sostituzione delle soglie statiche con condizioni basate su anomalie o previsioni dove il segnale sottostante presenta una reale stagionalità
- Correzione del raggruppamento dei multi-alert, così che gli alert arrivino per servizio e non per istanza effimera
- Ristrutturazione della logica dei composite monitor, così che un singolo guasto alla radice produca una sola notifica invece di una tempesta
- Monitor definiti come codice con un responsabile associato, così che quelli senza responsabile siano visibili e rimovibili
Esito
Il volume delle notifiche è sceso di circa due terzi, mentre i monitor che coprono un impatto reale sui clienti sono rimasti al loro posto. I tempi di presa in carico sono migliorati perché gli ingegneri hanno smesso di trattare le notifiche come rumore di fondo.