Przegląd
Na platformie e-commerce po aktualizacji agenta zaczęło rosnąć opóźnienie p99, a pamięć kontenerów stale przyrastała. AceMQ naprawiło konfigurację agenta i jego interakcję z JVM — czyli stronę granicy należącą do klienta, której wsparcie dostawcy nie dostraja.
Wyzwanie
Nazewnictwo transakcji przechodziło na schemat oparty na pojedynczych adresach URL, ponieważ instrumentacja frameworka nie rozpoznawała niestandardowego routera, więc każda odrębna ścieżka tworzyła osobną transakcję. Powodowało to problemy z grupowaniem metryk oraz rozrost wewnętrznej pamięci podręcznej nazw w agencie, rosnącej wraz z ruchem. Niezależnie od tego śledzenie rozproszone (distributed tracing) włączono z pełnym próbkowaniem na usłudze o bardzo dużej przepustowości, co dodawało mierzalny narzut na każde żądanie i stałą presję alokacji, widoczną jako dłuższe pauzy odśmiecania pamięci (GC).
Środowisko
Usługi Java na Kubernetes z niestandardowym frameworkiem routingu, dużą przepustowością żądań i kontenerami z ograniczoną pamięcią.
Podejście
Oddzieliliśmy narzut przypisywany agentowi od zachowania aplikacji, przeprowadzając kontrolowane porównania przy identycznym obciążeniu z włączonym i wyłączonym agentem. Po zmierzeniu kosztu agenta poprawiliśmy nazewnictwo transakcji, aby agent przestał generować nieograniczoną liczbę nazw, i ustawiliśmy próbkowanie na poziomie odpowiednim do przepustowości usługi.
Rozwiązanie
- Kontrolowane porównanie obciążeniowe z włączonym i wyłączonym agentem w celu zmierzenia rzeczywistego narzutu zamiast jego szacowania
- Poprawienie nazewnictwa transakcji za pomocą jawnych wywołań API, tak aby niestandardowy router generował ograniczony zbiór sensownych nazw
- Rozwiązanie problemów z grupowaniem metryk i eliminacja nieograniczonej pamięci podręcznej nazw w agencie, która powodowała przyrost pamięci
- Ograniczenie próbkowania śledzenia rozproszonego na usłudze o największej przepustowości przy zachowaniu pełnego śledzenia ścieżek błędów
- Ponowne dopasowanie sterty JVM i limitów pamięci kontenerów do rzeczywistego zużycia przez agenta zamiast wymiarowania sprzed jego wdrożenia
- Przetestowanie ścieżki aktualizacji wersji agenta w środowisku stagingowym pod obciążeniem zbliżonym do produkcyjnego przed wdrożeniem
Efekt
Przyrost pamięci ustał, a opóźnienie p99 wróciło do poziomu sprzed aktualizacji. Dane o transakcjach znów nadają się do użytku, ponieważ są grupowane według sensownych endpointów, a nie według każdego odrębnego adresu URL.