Powrót do wszystkich studiów przypadków

Ocena środowiskaUsługi finansowe / płatności

Rzetelna mapa tego, co Państwa APM faktycznie widzi

Globalny operator płatności

Ocena tego, które usługi, zależności i ścieżki kodu są faktycznie objęte instrumentacją APM, a które tylko się za takie uważa.

Przegląd

Operator płatności był przekonany, że całe jego środowisko jest w pełni zinstrumentowane, dopóki zlokalizowanie awarii w nieobjętym komponencie nie zajęło kilku godzin. AceMQ oceniło rzeczywiste pokrycie usług, zależności i pracy w tle.

Wyzwanie

Pokrycie wyglądało na kompletne, bo do każdej wdrożonej usługi był podłączony agent. Inwentaryzacja pomijała jednak to, że kilka krytycznych ścieżek kodu i tak pozostawało niewidocznych: workery działające w tle i zadania harmonogramowane nie generowały transakcji, bo nic nie oznaczało ich punktów wejścia, niestandardowe warstwy dostępu do bazy danych nie były rozpoznawane przez automatyczną instrumentację, a wywołania wychodzące przez wewnętrzny wrapper klienta HTTP pojawiały się jako ogólne segmenty zewnętrzne bez przypisanego celu. Mapa pokazywała pokrycie; w rzeczywistości luki występowały dokładnie tam, gdzie debugowanie było najtrudniejsze.

Środowisko

Środowisko hybrydowe z usługami Java i Node.js, harmonogramowanymi zadaniami wsadowymi oraz niestandardowymi bibliotekami dostępu do danych i klientów HTTP.

Podejście

Zamiast liczyć agentów, ocena sprawdza, jaką telemetrię każda usługa faktycznie generuje w porównaniu z tym, co faktycznie robi. Porównujemy inwentarz wdrożeń z raportującymi encjami, analizujemy dane transakcji i segmentów każdej usługi pod kątem oczekiwanych kształtów i celowo badamy obszary, o których wiadomo, że automatyczna instrumentacja je pomija.

Rozwiązanie

  1. Uzgodnienie inwentarza wdrożeń z raportującymi encjami w celu znalezienia usług, które są wdrożone, ale po cichu nie raportują
  2. Analiza danych transakcji i segmentów każdej usługi pod kątem oczekiwanych kształtów, zamiast zakładać, że podłączony agent oznacza pokrycie
  3. Celowe sprawdzenie workerów działających w tle, zadań harmonogramowanych i pętli konsumentów, ponieważ rzadko są instrumentowane automatycznie
  4. Wskazanie niestandardowych wrapperów dostępu do danych i klientów HTTP jako martwych pól instrumentacji wraz z jasno określonymi działaniami naprawczymi
  5. Odwzorowanie pokrycia alertami i dashboardami względem ścieżek krytycznych dla biznesu w celu znalezienia monitorowanych komponentów bez alertów
  6. Uszeregowany backlog działań naprawczych według zasięgu skutków (blast radius), z oszacowaniem nakładu pracy dla każdej pozycji

Efekt

Okazało się, że mniej więcej jedna piąta krytycznych dla biznesu ścieżek kodu była niewidoczna dla APM, mimo obecności agentów. Po dodaniu niestandardowej instrumentacji w lukach o najwyższym priorytecie ten rodzaj awarii, którego zlokalizowanie zajmowało wcześniej godziny, jest teraz widoczny w pierwszych minutach.

Technologie

New RelicJavaNode.jsKubernetesOpenTelemetry

Czas na przegląd Health Check New Relic?

Starsi inżynierowie New Relic w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.