Przegląd
Dostawca usług ubezpieczeniowych korzysta z mieszanki agentów dostawcy i instrumentacji OpenTelemetry. Ślady regularnie kończyły się na granicy między nimi. AceMQ zapewnia ciągłe wsparcie, które utrzymuje działającą propagację w miarę zmian w usługach.
Wyzwanie
Różne usługi propagowały kontekst w różnych formatach nagłówków, a usługi po obu stronach granicy były skonfigurowane tak, by akceptować tylko jeden z nich. Gdy żądanie przechodziło z usługi z agentem dostawcy do usługi z OpenTelemetry, przychodzący kontekst był ignorowany i rozpoczynał się nowy ślad. Asynchroniczne przeskoki przez broker komunikatów całkowicie gubiły kontekst, ponieważ nic nie wstrzykiwało go do nagłówków komunikatów. Każda nowa usługa dołączająca do środowiska odtwarzała problem w nowym miejscu.
Środowisko
Środowisko hybrydowe z usługami Java i .NET, mieszaną instrumentacją agentów dostawcy i OpenTelemetry oraz integracją między warstwami opartą na komunikatach.
Podejście
Wsparcie obejmuje instrumentację należącą do klienta, a nie platformę ingestii dostawcy. Ujednoliciliśmy format propagacji akceptowany wszędzie, uczyniliśmy wstrzykiwanie kontekstu w przeskokach komunikacyjnych częścią wspólnej biblioteki zamiast obowiązkiem każdego zespołu i dodaliśmy syntetyczny test śladu end-to-end, który kończy się niepowodzeniem, gdy propagacja się psuje.
Rozwiązanie
- Wsparcie 24/7 z docelowymi czasami reakcji od 15 minut, zależnie od planu, i przypisanymi starszymi inżynierami, którzy znają topologię śladów w środowisku
- Jeden ujednolicony format propagacji w usługach z agentami dostawcy i OpenTelemetry, z akceptacją obu formatów w okresie przejściowym
- Przeniesienie wstrzykiwania i odczytu kontekstu w brokerze komunikatów do wspólnej biblioteki, dzięki czemu przeskoki asynchroniczne domyślnie propagują kontekst
- Syntetyczna transakcja end-to-end uruchamiana w sposób ciągły, alarmująca, gdy ślad nie obejmuje pełnej ścieżki
- Uzgodnienie konfiguracji próbkowania między usługami, aby decyzje po stronie upstream i downstream były zgodne
- Przegląd instrumentacji wbudowany w listę kontrolną klienta dla nowych usług, dzięki czemu każda nowa usługa od razu jest poprawnie skonfigurowana
Efekt
Ślady obejmują teraz pełną ścieżkę żądania, łącznie z przeskokami asynchronicznymi, a test syntetyczny wychwytuje regresje propagacji w ciągu kilku minut od wdrożenia. Nowe usługi dołączają do środowiska poprawnie zainstrumentowane, zamiast być naprawiane po fakcie.