Überblick
Eine Commerce-Plattform sah nach einem Agent-Upgrade die p99-Latenz steigen und den Container-Speicher stetig wachsen. AceMQ korrigierte die Agent-Konfiguration und das Zusammenspiel mit der JVM – die Kundenseite der Grenze, die der Hersteller-Support nicht optimiert.
Herausforderung
Die Benennung der Transactions fiel auf ein Schema pro URL zurück, weil die Framework-Instrumentierung einen eigenen Router nicht erkannte – jeder einzelne Pfad erzeugte eine eigene Transaction. Das führte zu Metric Grouping Issues und zu einem großen Namens-Cache im Agent, der mit dem Traffic wuchs. Unabhängig davon war Distributed Tracing auf einem Service mit sehr hohem Durchsatz mit vollem Sampling aktiviert worden. Das verursachte messbaren Overhead pro Request und ständigen Allokationsdruck, der sich in längeren Garbage-Collection-Pausen zeigte.
Umgebung
Java-Services auf Kubernetes mit eigenem Routing-Framework, hohem Request-Durchsatz und speicherbegrenzten Containern.
Vorgehen
Wir trennten den Overhead des Agents vom Verhalten der Anwendung, indem wir kontrollierte Vergleiche mit aktiviertem und deaktiviertem Agent unter identischer Last fuhren. Sobald die Kosten des Agents beziffert waren, korrigierten wir die Benennung der Transactions, damit der Agent keine unbegrenzte Zahl von Namen mehr erzeugt, und setzten das Sampling auf ein dem Durchsatz des Service angemessenes Niveau.
Lösung
- Kontrollierter Lastvergleich mit aktiviertem und deaktiviertem Agent, um den tatsächlichen Overhead zu beziffern statt zu schätzen
- Benennung der Transactions über explizite API-Aufrufe korrigiert, sodass der eigene Router begrenzte, aussagekräftige Namen liefert
- Metric Grouping Issues behoben und damit den unbegrenzten Namens-Cache im Agent beseitigt, der das Speicherwachstum verursachte
- Sampling für Distributed Tracing auf dem Service mit dem höchsten Durchsatz reduziert, auf Fehlerpfaden aber vollständig beibehalten
- JVM-Heap und Speicherlimits der Container an den realen Speicherbedarf des Agents angepasst statt an die Dimensionierung ohne Agent
- Upgrade-Pfad für Agent-Versionen vor dem Rollout in Staging unter produktionsnaher Last getestet
Resultat
Das Speicherwachstum hörte auf, und die p99-Latenz kehrte auf das Niveau vor dem Upgrade zurück. Die Transaction-Daten sind wieder brauchbar, weil sie nach aussagekräftigen Endpunkten gruppiert werden statt nach jeder einzelnen URL.