Przegląd
Operator płatności miał APM włączone szeroko, ale ślady regularnie kończyły się na granicy między nowszymi a starszymi usługami. AceMQ oceniło pokrycie instrumentacją w całym środowisku, aby wskazać dokładnie, gdzie zawodzi propagacja kontekstu.
Wyzwanie
Nowsze usługi korzystały z automatycznej instrumentacji, a kilka starszych zinstrumentowano ręcznie przed laty, z użyciem znacznie starszej wersji biblioteki. Gdy żądanie przechodziło między nimi, nagłówki kontekstu śladu były gubione, więc jedna logiczna transakcja pojawiała się jako kilka niepowiązanych śladów. Asynchroniczne przejścia przez brokery komunikatów całkowicie traciły kontekst. W efekcie opóźnienia w tych częściach systemu, na których biznesowi zależało najbardziej, były niewidoczne, a dobrze zinstrumentowane usługi sprawiały wrażenie kompleksowo pokrytych.
Środowisko
Środowisko hybrydowe z usługami na Kubernetes i starszymi aplikacjami w Javie i Pythonie hostowanymi na maszynach wirtualnych, z messagingiem między warstwami.
Podejście
Ocena obejmuje inwentaryzację wersji bibliotek tracera i metody instrumentacji w każdej usłudze, a następnie śledzenie rzeczywistych ścieżek żądań produkcyjnych od początku do końca, aby ustalić, gdzie kontekst faktycznie ginie. Ponieważ AceMQ nie obsługuje platformy dostawcy, wszystkie ustalenia dotyczą kodu, bibliotek i konfiguracji propagacji klienta — czyli elementów, które klient może zmienić.
Rozwiązanie
- Inwentaryzacja wersji bibliotek tracera i metody instrumentacji w każdej usłudze, z oznaczeniem wersji o niezgodnych domyślnych ustawieniach propagacji
- Śledzenie rzeczywistych ścieżek żądań produkcyjnych od początku do końca w celu wskazania dokładnego przejścia, na którym ginie kontekst
- Osobna ocena przejść asynchronicznych i opartych na komunikatach, ponieważ propagacja kontekstu wymaga w nich jawnej obsługi nośnika (carrier)
- Przegląd konfiguracji próbkowania w każdej usłudze, aby decyzje próbkowania head-based nie odrzucały po cichu śladów, które mają znaczenie
- Uszeregowany plan naprawy instrumentacji według ścieżek krytycznych dla biznesu, a nie według łatwości poprawki
- Ocena ścieżki migracji do niezależnej od dostawcy instrumentacji OpenTelemetry dla usług, które i tak czeka przebudowa
Efekt
Kompletność śladów od początku do końca na głównej ścieżce płatności wzrosła od fragmentarycznej do niemal pełnej, co ujawniło źródło opóźnień w starszej usłudze, które nigdy nie pojawiło się na żadnym dashboardzie. Backlog działań naprawczych jest uszeregowany według wpływu na biznes, a nie według tego, który zespół zgłosił się na ochotnika.