Zurück zu allen Kundenbeispielen

AssessmentFinanzdienstleistungen / Zahlungsverkehr

Herausfinden, wo der Trace endet – und warum es niemand bemerkt hat

Globaler Zahlungsdienstleister

Assessment von APM-Instrumentierung und Trace-Vollständigkeit in einer Service-Landschaft, in der verteilte Traces immer wieder an Service-Grenzen abbrachen.

Überblick

Ein Zahlungsdienstleister hatte APM breit aktiviert, doch die Traces endeten regelmäßig an der Grenze zwischen neueren und älteren Services. AceMQ bewertete die Instrumentierungsabdeckung der gesamten Landschaft, um genau zu ermitteln, wo die Context Propagation abriss.

Herausforderung

Neuere Services nutzten Auto-Instrumentierung, während mehrere ältere Jahre zuvor von Hand gegen eine deutlich ältere Bibliotheksversion instrumentiert worden waren. Überschritt ein Request diese Grenze, gingen die Trace-Context-Header verloren, und eine einzige logische Transaktion erschien als mehrere unzusammenhängende Traces. Asynchrone Hops über Message Broker verloren den Kontext vollständig. Im Ergebnis war die Latenz genau in den Teilen des Systems unsichtbar, die dem Geschäft am wichtigsten waren, während gut instrumentierte Services umfassend abgedeckt wirkten.

Umgebung

Hybride Landschaft mit Services auf Kubernetes und Legacy-Anwendungen auf virtuellen Maschinen in Java und Python, mit Messaging zwischen den Schichten.

Vorgehen

Das Assessment erfasst Tracer-Bibliotheksversion und Instrumentierungsmethode je Service und verfolgt dann reale Request-Pfade aus der Produktion End-to-End, um herauszufinden, wo der Kontext tatsächlich verloren geht. Da AceMQ die Plattform des Herstellers nicht betreibt, beziehen sich alle Befunde auf Code, Bibliotheken und Propagation-Konfiguration des Kunden – also auf die Teile, die er ändern kann.

Lösung

  1. Tracer-Bibliotheksversion und Instrumentierungsmethode je Service erfasst; Versionen mit inkompatiblen Propagation-Standardwerten markiert
  2. Reale Request-Pfade aus der Produktion End-to-End verfolgt, um den genauen Hop zu finden, an dem der Kontext verloren geht
  3. Asynchrone und nachrichtengetriebene Hops gesondert bewertet, da die Context Propagation dort eine explizite Behandlung des Carriers erfordert
  4. Sampling-Konfiguration je Service geprüft, damit Head-based-Sampling-Entscheidungen nicht unbemerkt genau die wichtigen Traces verwerfen
  5. Priorisierter Plan zur Behebung der Instrumentierung, geordnet nach geschäftskritischen Pfaden statt nach Einfachheit der Korrektur
  6. Migrationspfad zu herstellerneutraler OpenTelemetry-Instrumentierung für Services bewertet, die ohnehin überarbeitet werden

Resultat

Die End-to-End-Vollständigkeit der Traces auf dem zentralen Zahlungspfad stieg von bruchstückhaft auf nahezu vollständig. Dadurch kam ein Latenztreiber in einem Legacy-Service zum Vorschein, der in keinem Dashboard je aufgetaucht war. Das Backlog zur Behebung ist nach geschäftlicher Auswirkung geordnet – nicht danach, welches Team sich freiwillig gemeldet hat.

Technologien

DatadogOpenTelemetryKubernetesJavaPython

Bereit für einen Datadog-Health-Check?

Die Senior Engineers von AceMQ für Datadog haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.