Przegląd
Inżynierowie dyżurni dostawcy SaaS odruchowo potwierdzali alerty, bo większość z nich nie wymagała żadnego działania. AceMQ zapewnia stałe wsparcie, aby zestaw monitorów pozostawał sensowny, współpracując z zespołem klienta w ramach jego własnej organizacji Datadog.
Wyzwanie
Monitory gromadziły się latami bez żadnego procesu ich wycofywania. Wiele z nich korzystało ze statycznych progów ustawionych pod poziomy ruchu, które już nie występowały, więc uruchamiały się przy każdym zwykłym szczycie. Monitory złożone (composite) wywoływały burze alertów, w których jedna awaria źródłowa generowała dziesiątki powiadomień. Monitory typu multi-alert grupowały według tagu, który z czasem zyskał wysoką kardynalność, generując jeden alert na instancję zamiast jednego na usługę. Nikt nie był właścicielem zestawu monitorów, więc nigdy niczego nie usuwano.
Środowisko
Datadog monitorujący wieloregionowe środowisko AWS i Kubernetes, alerty kierowane do zespołu dyżurnego.
Podejście
Pracujemy na podstawie historii alertów, a nie opinii: które monitory się uruchamiały, jak często i czy ktokolwiek coś w związku z tym zrobił. Monitory, które nigdy nie prowadzą do działania, są wycofywane lub przenoszone na dashboard. Te, które mają znaczenie, otrzymują progi odzwierciedlające obecne zachowanie systemu, właściwe grupowanie i reguły downtime wyciszające przewidywalny szum.
Rozwiązanie
- Wsparcie 24/7 z docelowymi czasami reakcji od 15 minut, zależnie od planu, i przypisanymi starszymi inżynierami włączonymi w cykl przeglądów alertów klienta
- Analiza historii alertów dla każdego monitora w celu oddzielenia tych, które prowadzą do działania, od tych, które zawsze są tylko potwierdzane i zamykane
- Zastąpienie statycznych progów warunkami opartymi na wykrywaniu anomalii lub prognozach tam, gdzie sygnał ma rzeczywistą sezonowość
- Korekta grupowania multi-alert tak, aby alerty przychodziły dla usługi, a nie dla efemerycznej instancji
- Przebudowa logiki monitorów złożonych tak, aby jedna awaria źródłowa generowała jedno powiadomienie zamiast burzy
- Monitory definiowane jako kod z przypisanymi właścicielami, dzięki czemu monitory bez właściciela są widoczne i można je usunąć
Efekt
Liczba powiadomień spadła o mniej więcej dwie trzecie, a monitory obejmujące rzeczywisty wpływ na klientów pozostały na miejscu. Czas potwierdzania się skrócił, bo inżynierowie przestali traktować powiadomienia jak szum w tle.