Powrót do wszystkich studiów przypadków

Usuwanie problemówOprogramowanie / platformy cyfrowe

Gdy agent monitorujący sam staje się problemem wydajnościowym

Platforma handlu cyfrowego

Usunięcie wzrostu opóźnień aplikacji i przyrostu pamięci, których źródłem okazała się konfiguracja agenta APM w środowisku JVM i kontenerów należącym do klienta.

Przegląd

Na platformie e-commerce po aktualizacji agenta zaczęło rosnąć opóźnienie p99, a pamięć kontenerów stale przyrastała. AceMQ naprawiło konfigurację agenta i jego interakcję z JVM — czyli stronę granicy należącą do klienta, której wsparcie dostawcy nie dostraja.

Wyzwanie

Nazewnictwo transakcji przechodziło na schemat oparty na pojedynczych adresach URL, ponieważ instrumentacja frameworka nie rozpoznawała niestandardowego routera, więc każda odrębna ścieżka tworzyła osobną transakcję. Powodowało to problemy z grupowaniem metryk oraz rozrost wewnętrznej pamięci podręcznej nazw w agencie, rosnącej wraz z ruchem. Niezależnie od tego śledzenie rozproszone (distributed tracing) włączono z pełnym próbkowaniem na usłudze o bardzo dużej przepustowości, co dodawało mierzalny narzut na każde żądanie i stałą presję alokacji, widoczną jako dłuższe pauzy odśmiecania pamięci (GC).

Środowisko

Usługi Java na Kubernetes z niestandardowym frameworkiem routingu, dużą przepustowością żądań i kontenerami z ograniczoną pamięcią.

Podejście

Oddzieliliśmy narzut przypisywany agentowi od zachowania aplikacji, przeprowadzając kontrolowane porównania przy identycznym obciążeniu z włączonym i wyłączonym agentem. Po zmierzeniu kosztu agenta poprawiliśmy nazewnictwo transakcji, aby agent przestał generować nieograniczoną liczbę nazw, i ustawiliśmy próbkowanie na poziomie odpowiednim do przepustowości usługi.

Rozwiązanie

  1. Kontrolowane porównanie obciążeniowe z włączonym i wyłączonym agentem w celu zmierzenia rzeczywistego narzutu zamiast jego szacowania
  2. Poprawienie nazewnictwa transakcji za pomocą jawnych wywołań API, tak aby niestandardowy router generował ograniczony zbiór sensownych nazw
  3. Rozwiązanie problemów z grupowaniem metryk i eliminacja nieograniczonej pamięci podręcznej nazw w agencie, która powodowała przyrost pamięci
  4. Ograniczenie próbkowania śledzenia rozproszonego na usłudze o największej przepustowości przy zachowaniu pełnego śledzenia ścieżek błędów
  5. Ponowne dopasowanie sterty JVM i limitów pamięci kontenerów do rzeczywistego zużycia przez agenta zamiast wymiarowania sprzed jego wdrożenia
  6. Przetestowanie ścieżki aktualizacji wersji agenta w środowisku stagingowym pod obciążeniem zbliżonym do produkcyjnego przed wdrożeniem

Efekt

Przyrost pamięci ustał, a opóźnienie p99 wróciło do poziomu sprzed aktualizacji. Dane o transakcjach znów nadają się do użytku, ponieważ są grupowane według sensownych endpointów, a nie według każdego odrębnego adresu URL.

Technologie

New RelicJavaKubernetesLinux

Problem produkcyjny z New Relic?

Starsi inżynierowie New Relic w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.