Powrót do wszystkich studiów przypadków

Ocena środowiskaUsługi finansowe / płatności

Gdzie urywa się ślad i dlaczego nikt tego nie zauważył

Globalny operator płatności

Ocena pokrycia instrumentacją APM i kompletności śladów w środowisku usług, w którym rozproszone ślady (traces) regularnie urywały się na granicach usług.

Przegląd

Operator płatności miał APM włączone szeroko, ale ślady regularnie kończyły się na granicy między nowszymi a starszymi usługami. AceMQ oceniło pokrycie instrumentacją w całym środowisku, aby wskazać dokładnie, gdzie zawodzi propagacja kontekstu.

Wyzwanie

Nowsze usługi korzystały z automatycznej instrumentacji, a kilka starszych zinstrumentowano ręcznie przed laty, z użyciem znacznie starszej wersji biblioteki. Gdy żądanie przechodziło między nimi, nagłówki kontekstu śladu były gubione, więc jedna logiczna transakcja pojawiała się jako kilka niepowiązanych śladów. Asynchroniczne przejścia przez brokery komunikatów całkowicie traciły kontekst. W efekcie opóźnienia w tych częściach systemu, na których biznesowi zależało najbardziej, były niewidoczne, a dobrze zinstrumentowane usługi sprawiały wrażenie kompleksowo pokrytych.

Środowisko

Środowisko hybrydowe z usługami na Kubernetes i starszymi aplikacjami w Javie i Pythonie hostowanymi na maszynach wirtualnych, z messagingiem między warstwami.

Podejście

Ocena obejmuje inwentaryzację wersji bibliotek tracera i metody instrumentacji w każdej usłudze, a następnie śledzenie rzeczywistych ścieżek żądań produkcyjnych od początku do końca, aby ustalić, gdzie kontekst faktycznie ginie. Ponieważ AceMQ nie obsługuje platformy dostawcy, wszystkie ustalenia dotyczą kodu, bibliotek i konfiguracji propagacji klienta — czyli elementów, które klient może zmienić.

Rozwiązanie

  1. Inwentaryzacja wersji bibliotek tracera i metody instrumentacji w każdej usłudze, z oznaczeniem wersji o niezgodnych domyślnych ustawieniach propagacji
  2. Śledzenie rzeczywistych ścieżek żądań produkcyjnych od początku do końca w celu wskazania dokładnego przejścia, na którym ginie kontekst
  3. Osobna ocena przejść asynchronicznych i opartych na komunikatach, ponieważ propagacja kontekstu wymaga w nich jawnej obsługi nośnika (carrier)
  4. Przegląd konfiguracji próbkowania w każdej usłudze, aby decyzje próbkowania head-based nie odrzucały po cichu śladów, które mają znaczenie
  5. Uszeregowany plan naprawy instrumentacji według ścieżek krytycznych dla biznesu, a nie według łatwości poprawki
  6. Ocena ścieżki migracji do niezależnej od dostawcy instrumentacji OpenTelemetry dla usług, które i tak czeka przebudowa

Efekt

Kompletność śladów od początku do końca na głównej ścieżce płatności wzrosła od fragmentarycznej do niemal pełnej, co ujawniło źródło opóźnień w starszej usłudze, które nigdy nie pojawiło się na żadnym dashboardzie. Backlog działań naprawczych jest uszeregowany według wpływu na biznes, a nie według tego, który zespół zgłosił się na ochotnika.

Technologie

DatadogOpenTelemetryKubernetesJavaPython

Czas na przegląd Health Check Datadog?

Starsi inżynierowie Datadog w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.