Powrót do wszystkich studiów przypadków

Wsparcie techniczneOprogramowanie / platformy cyfrowe

Przywrócenie dyżurom alertów, które coś znaczą

Dostawca platformy SaaS B2B

Stałe wsparcie dla zestawu monitorów Datadog, który generował więcej alertów, niż zespół dyżurny był w stanie sensownie obsłużyć.

Przegląd

Inżynierowie dyżurni dostawcy SaaS odruchowo potwierdzali alerty, bo większość z nich nie wymagała żadnego działania. AceMQ zapewnia stałe wsparcie, aby zestaw monitorów pozostawał sensowny, współpracując z zespołem klienta w ramach jego własnej organizacji Datadog.

Wyzwanie

Monitory gromadziły się latami bez żadnego procesu ich wycofywania. Wiele z nich korzystało ze statycznych progów ustawionych pod poziomy ruchu, które już nie występowały, więc uruchamiały się przy każdym zwykłym szczycie. Monitory złożone (composite) wywoływały burze alertów, w których jedna awaria źródłowa generowała dziesiątki powiadomień. Monitory typu multi-alert grupowały według tagu, który z czasem zyskał wysoką kardynalność, generując jeden alert na instancję zamiast jednego na usługę. Nikt nie był właścicielem zestawu monitorów, więc nigdy niczego nie usuwano.

Środowisko

Datadog monitorujący wieloregionowe środowisko AWS i Kubernetes, alerty kierowane do zespołu dyżurnego.

Podejście

Pracujemy na podstawie historii alertów, a nie opinii: które monitory się uruchamiały, jak często i czy ktokolwiek coś w związku z tym zrobił. Monitory, które nigdy nie prowadzą do działania, są wycofywane lub przenoszone na dashboard. Te, które mają znaczenie, otrzymują progi odzwierciedlające obecne zachowanie systemu, właściwe grupowanie i reguły downtime wyciszające przewidywalny szum.

Rozwiązanie

  1. Wsparcie 24/7 z docelowymi czasami reakcji od 15 minut, zależnie od planu, i przypisanymi starszymi inżynierami włączonymi w cykl przeglądów alertów klienta
  2. Analiza historii alertów dla każdego monitora w celu oddzielenia tych, które prowadzą do działania, od tych, które zawsze są tylko potwierdzane i zamykane
  3. Zastąpienie statycznych progów warunkami opartymi na wykrywaniu anomalii lub prognozach tam, gdzie sygnał ma rzeczywistą sezonowość
  4. Korekta grupowania multi-alert tak, aby alerty przychodziły dla usługi, a nie dla efemerycznej instancji
  5. Przebudowa logiki monitorów złożonych tak, aby jedna awaria źródłowa generowała jedno powiadomienie zamiast burzy
  6. Monitory definiowane jako kod z przypisanymi właścicielami, dzięki czemu monitory bez właściciela są widoczne i można je usunąć

Efekt

Liczba powiadomień spadła o mniej więcej dwie trzecie, a monitory obejmujące rzeczywisty wpływ na klientów pozostały na miejscu. Czas potwierdzania się skrócił, bo inżynierowie przestali traktować powiadomienia jak szum w tle.

Technologie

DatadogKubernetesTerraformPagerDuty

Potrzebują Państwo eksperckiego wsparcia Datadog?

Starsi inżynierowie Datadog w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.