Überblick
Eine Finanzdienstleistungsgruppe hatte Metriken in einem Tool, Logs in einem zweiten und Traces in einem dritten, ohne gemeinsame Identifikatoren. AceMQ entwarf die Konsolidierung auf einen Stack mit Grafana als Oberfläche, in dem ein Engineer von einer Metrikspitze zu den zugehörigen Logs und Traces springen kann, ohne den Kontext neu herleiten zu müssen.
Herausforderung
Die drei Signaltypen nutzten unterschiedliche Namen für dieselben Dinge: Service-Namen unterschieden sich in Groß- und Kleinschreibung und Suffix, Umgebungen waren uneinheitlich gelabelt, und in den Logs gab es keine gemeinsame Trace- oder Request-ID. Einen Alert mit seinen Logs zu korrelieren, hieß, dass ein Mensch unter Zeitdruck zwischen Namensschemata übersetzen musste. Zudem wurde derselbe Host durch doppelte Agents in der Landschaft mehrfach gescrapt.
Umgebung
Hybride Landschaft mit Kubernetes-Workloads und virtuellen Legacy-Maschinen, mehrere regulierte Umgebungen mit getrennter Datenresidenz.
Vorgehen
Die Designarbeit begann mit einer Label-Taxonomie statt mit Tools, denn Korrelation ist ein Benennungsproblem, bevor sie ein Produktproblem ist. Wir definierten einen verbindlichen Label-Satz, der einheitlich für Metriken, Logs und Traces gilt, legten die Trace Context Propagation so fest, dass Logzeilen die Trace-ID tragen, und entwarfen dann die Collection-Topologie, die das auf Agent-Ebene durchsetzt.
Lösung
- Verbindliche Label-Taxonomie für Service, Umgebung, Region und Team definiert, identisch angewandt auf Metriken, Logs und Traces
- Trace Context Propagation so gestaltet, dass Logzeilen Trace- und Span-IDs tragen – der Wechsel von Metrik zu Log zu Trace ist damit ein Klick
- Collection-Topologie auf einen einzigen Agent pro Host bereinigt, wodurch doppelte Scrapes und deren Speicherkosten entfallen
- Grenzen der Datenresidenz auf der Collection-Ebene durchgesetzt, damit regulierte Regionen nie Telemetrie über Grenzen hinweg senden
- Aufbewahrungsstufen je Signaltyp definiert: hochaufgelöste Daten kurz, heruntergerechnete Daten lang
- Migration Service für Service gestaffelt, mit Phasen paralleler Datenausgabe, damit kein Team während der Umstellung die Sicht verliert
Resultat
Engineers springen jetzt direkt in Grafana von einem Alert zu den korrelierten Logs und dem Trace, statt Identifikatoren von Hand zu übersetzen. Der Wegfall doppelter Erfassung senkte das Telemetrievolumen spürbar, und die gemeinsame Taxonomie hat sich beim Onboarding neuer Services bewährt.