Przegląd
Operator płatności był przekonany, że całe jego środowisko jest w pełni zinstrumentowane, dopóki zlokalizowanie awarii w nieobjętym komponencie nie zajęło kilku godzin. AceMQ oceniło rzeczywiste pokrycie usług, zależności i pracy w tle.
Wyzwanie
Pokrycie wyglądało na kompletne, bo do każdej wdrożonej usługi był podłączony agent. Inwentaryzacja pomijała jednak to, że kilka krytycznych ścieżek kodu i tak pozostawało niewidocznych: workery działające w tle i zadania harmonogramowane nie generowały transakcji, bo nic nie oznaczało ich punktów wejścia, niestandardowe warstwy dostępu do bazy danych nie były rozpoznawane przez automatyczną instrumentację, a wywołania wychodzące przez wewnętrzny wrapper klienta HTTP pojawiały się jako ogólne segmenty zewnętrzne bez przypisanego celu. Mapa pokazywała pokrycie; w rzeczywistości luki występowały dokładnie tam, gdzie debugowanie było najtrudniejsze.
Środowisko
Środowisko hybrydowe z usługami Java i Node.js, harmonogramowanymi zadaniami wsadowymi oraz niestandardowymi bibliotekami dostępu do danych i klientów HTTP.
Podejście
Zamiast liczyć agentów, ocena sprawdza, jaką telemetrię każda usługa faktycznie generuje w porównaniu z tym, co faktycznie robi. Porównujemy inwentarz wdrożeń z raportującymi encjami, analizujemy dane transakcji i segmentów każdej usługi pod kątem oczekiwanych kształtów i celowo badamy obszary, o których wiadomo, że automatyczna instrumentacja je pomija.
Rozwiązanie
- Uzgodnienie inwentarza wdrożeń z raportującymi encjami w celu znalezienia usług, które są wdrożone, ale po cichu nie raportują
- Analiza danych transakcji i segmentów każdej usługi pod kątem oczekiwanych kształtów, zamiast zakładać, że podłączony agent oznacza pokrycie
- Celowe sprawdzenie workerów działających w tle, zadań harmonogramowanych i pętli konsumentów, ponieważ rzadko są instrumentowane automatycznie
- Wskazanie niestandardowych wrapperów dostępu do danych i klientów HTTP jako martwych pól instrumentacji wraz z jasno określonymi działaniami naprawczymi
- Odwzorowanie pokrycia alertami i dashboardami względem ścieżek krytycznych dla biznesu w celu znalezienia monitorowanych komponentów bez alertów
- Uszeregowany backlog działań naprawczych według zasięgu skutków (blast radius), z oszacowaniem nakładu pracy dla każdej pozycji
Efekt
Okazało się, że mniej więcej jedna piąta krytycznych dla biznesu ścieżek kodu była niewidoczna dla APM, mimo obecności agentów. Po dodaniu niestandardowej instrumentacji w lukach o najwyższym priorytecie ten rodzaj awarii, którego zlokalizowanie zajmowało wcześniej godziny, jest teraz widoczny w pierwszych minutach.