Überblick
Ein Zahlungsdienstleister hielt seine Umgebung für vollständig instrumentiert, bis die Suche nach einem Ausfall in einer nicht abgedeckten Komponente Stunden dauerte. AceMQ bewertete die tatsächliche Abdeckung über Services, Abhängigkeiten und Hintergrundverarbeitung hinweg.
Herausforderung
Die Abdeckung wirkte vollständig, weil an jedem ausgerollten Service ein Agent hing. Was das Inventar übersah: Mehrere kritische Codepfade waren trotzdem unsichtbar. Hintergrund-Worker und geplante Jobs erzeugten keine Transactions, weil nichts ihre Einstiegspunkte markierte. Eigene Datenbankzugriffsschichten wurden von der Auto-Instrumentierung nicht erkannt, und ausgehende Aufrufe über einen internen HTTP-Client-Wrapper erschienen als generische External Segments ohne Zuordnung zum Ziel. Die Karte zeigte Abdeckung – die Realität hatte Lücken genau dort, wo das Debugging am schwersten war.
Umgebung
Hybride Umgebung mit Java- und Node.js-Services, geplanter Batch-Verarbeitung sowie eigenen Bibliotheken für Datenzugriff und HTTP-Clients.
Vorgehen
Statt Agents zu zählen, prüft das Assessment, welche Telemetrie jeder Service tatsächlich liefert, und vergleicht sie mit dem, was der Service tatsächlich tut. Wir gleichen das Deployment-Inventar mit den meldenden Entities ab, untersuchen Transaction- und Segment-Daten je Service auf die erwarteten Muster und prüfen gezielt die Bereiche, die Auto-Instrumentierung bekanntermaßen übersieht.
Lösung
- Deployment-Inventar mit den meldenden Entities abgeglichen, um Services zu finden, die ausgerollt sind, aber unbemerkt nichts melden
- Transaction- und Segment-Daten je Service auf erwartete Muster geprüft, statt einen vorhandenen Agent mit Abdeckung gleichzusetzen
- Hintergrund-Worker, geplante Jobs und Consumer Loops gezielt geprüft, da diese selten automatisch instrumentiert werden
- Eigene Wrapper für Datenzugriff und HTTP-Clients als blinde Flecken der Instrumentierung identifiziert und konkrete Maßnahmen festgelegt
- Abdeckung von Alerts und Dashboards den geschäftskritischen Pfaden gegenübergestellt, um überwachte Komponenten ohne Alerting zu finden
- Priorisiertes Backlog zur Behebung, geordnet nach Blast Radius und mit Aufwandsschätzung je Punkt
Resultat
Rund ein Fünftel der geschäftskritischen Codepfade erwies sich trotz vorhandener Agents als unsichtbar für das APM. Seit die wichtigsten Lücken mit Custom Instrumentation geschlossen sind, ist die Art von Ausfall, deren Lokalisierung früher Stunden dauerte, in den ersten Minuten sichtbar.