Überblick
Ein Dienstleister für die Versicherungsbranche betreibt eine Mischung aus Vendor-Agents und OpenTelemetry-Instrumentierung. Traces endeten regelmäßig an der Grenze zwischen beiden. AceMQ leistet kontinuierlichen Support, damit die Propagation auch dann funktioniert, wenn sich Services ändern.
Herausforderung
Verschiedene Services propagierten den Kontext mit unterschiedlichen Header-Formaten, und die Services auf beiden Seiten einer Grenze akzeptierten jeweils nur eines davon. Wechselte ein Request von einem Service mit Vendor-Agent zu einem mit OpenTelemetry, wurde der eingehende Kontext ignoriert und ein neuer Trace gestartet. Asynchrone Hops über den Message Broker verloren den Kontext vollständig, weil niemand ihn in die Message-Header injizierte. Mit jedem neuen Service tauchte das Problem an einer neuen Stelle wieder auf.
Umgebung
Hybride Landschaft mit Java- und .NET-Services, gemischter Instrumentierung aus Vendor-Agents und OpenTelemetry sowie nachrichtenbasierter Integration zwischen den Tiers.
Vorgehen
Der Support umfasst die Instrumentierung, die der Kunde verantwortet, nicht die Ingest-Plattform des Anbieters. Wir standardisierten auf ein einziges Propagation-Format, das überall akzeptiert wird, machten die Kontextinjektion bei Messaging-Hops zum Bestandteil der gemeinsamen Bibliothek statt zur Aufgabe jedes einzelnen Teams und ergänzten einen synthetischen End-to-End-Trace-Check, der fehlschlägt, sobald die Propagation bricht.
Lösung
- 24/7-Support mit Reaktionszeitzielen ab 15 Minuten, je nach Plan, und namentlich zugeordneten Senior Engineers, die die Trace-Topologie der Landschaft kennen
- Einheitliches Propagation-Format für Services mit Vendor-Agents und OpenTelemetry standardisiert, wobei während der Umstellung beide Formate akzeptiert werden
- Injektion und Extraktion des Kontexts am Message Broker in eine gemeinsame Bibliothek verlagert, sodass asynchrone Hops standardmäßig propagieren
- Synthetische End-to-End-Transaktion, die kontinuierlich läuft und alarmiert, sobald ein Trace nicht den vollständigen Pfad abdeckt
- Sampling-Konfiguration zwischen den Services abgeglichen, damit Upstream- und Downstream-Entscheidungen übereinstimmen
- Instrumentierungsreview in die Checkliste des Kunden für neue Services integriert, sodass jeder Neuzugang bereits korrekt ankommt
Resultat
Traces decken heute den vollständigen Request-Pfad einschließlich asynchroner Hops ab, und der synthetische Check erkennt Regressionen bei der Propagation innerhalb von Minuten nach einem Deployment. Neue Services kommen korrekt instrumentiert in die Landschaft, statt nachträglich repariert werden zu müssen.