Zurück zu allen Kundenbeispielen

FehlerbehebungSoftware / Digitale Plattformen

Wenn der Monitoring-Agent selbst zum Performance-Problem wird

Digitale Commerce-Plattform

Behebung von Anwendungslatenz und wachsendem Speicherverbrauch, verursacht durch die Konfiguration des APM-Agents in der eigenen JVM- und Container-Landschaft des Kunden.

Überblick

Eine Commerce-Plattform sah nach einem Agent-Upgrade die p99-Latenz steigen und den Container-Speicher stetig wachsen. AceMQ korrigierte die Agent-Konfiguration und das Zusammenspiel mit der JVM – die Kundenseite der Grenze, die der Hersteller-Support nicht optimiert.

Herausforderung

Die Benennung der Transactions fiel auf ein Schema pro URL zurück, weil die Framework-Instrumentierung einen eigenen Router nicht erkannte – jeder einzelne Pfad erzeugte eine eigene Transaction. Das führte zu Metric Grouping Issues und zu einem großen Namens-Cache im Agent, der mit dem Traffic wuchs. Unabhängig davon war Distributed Tracing auf einem Service mit sehr hohem Durchsatz mit vollem Sampling aktiviert worden. Das verursachte messbaren Overhead pro Request und ständigen Allokationsdruck, der sich in längeren Garbage-Collection-Pausen zeigte.

Umgebung

Java-Services auf Kubernetes mit eigenem Routing-Framework, hohem Request-Durchsatz und speicherbegrenzten Containern.

Vorgehen

Wir trennten den Overhead des Agents vom Verhalten der Anwendung, indem wir kontrollierte Vergleiche mit aktiviertem und deaktiviertem Agent unter identischer Last fuhren. Sobald die Kosten des Agents beziffert waren, korrigierten wir die Benennung der Transactions, damit der Agent keine unbegrenzte Zahl von Namen mehr erzeugt, und setzten das Sampling auf ein dem Durchsatz des Service angemessenes Niveau.

Lösung

  1. Kontrollierter Lastvergleich mit aktiviertem und deaktiviertem Agent, um den tatsächlichen Overhead zu beziffern statt zu schätzen
  2. Benennung der Transactions über explizite API-Aufrufe korrigiert, sodass der eigene Router begrenzte, aussagekräftige Namen liefert
  3. Metric Grouping Issues behoben und damit den unbegrenzten Namens-Cache im Agent beseitigt, der das Speicherwachstum verursachte
  4. Sampling für Distributed Tracing auf dem Service mit dem höchsten Durchsatz reduziert, auf Fehlerpfaden aber vollständig beibehalten
  5. JVM-Heap und Speicherlimits der Container an den realen Speicherbedarf des Agents angepasst statt an die Dimensionierung ohne Agent
  6. Upgrade-Pfad für Agent-Versionen vor dem Rollout in Staging unter produktionsnaher Last getestet

Resultat

Das Speicherwachstum hörte auf, und die p99-Latenz kehrte auf das Niveau vor dem Upgrade zurück. Die Transaction-Daten sind wieder brauchbar, weil sie nach aussagekräftigen Endpunkten gruppiert werden statt nach jeder einzelnen URL.

Technologien

New RelicJavaKubernetesLinux

Haben Sie ein Produktionsproblem mit New Relic?

Die Senior Engineers von AceMQ für New Relic haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.