Zurück zu allen Kundenbeispielen

BeratungFinanzdienstleistungen / Handel

Ein Ort für den Blick auf alles – mit Labels, über die Sie wirklich zwischen den Signalen wechseln können

Finanzdienstleistungsgruppe

Beratungsprojekt zur Konsolidierung fragmentierter Metriken, Logs und Traces auf eine einzige Observability-Schicht auf Basis von Grafana mit einheitlichen Labels.

Überblick

Eine Finanzdienstleistungsgruppe hatte Metriken in einem Tool, Logs in einem zweiten und Traces in einem dritten, ohne gemeinsame Identifikatoren. AceMQ entwarf die Konsolidierung auf einen Stack mit Grafana als Oberfläche, in dem ein Engineer von einer Metrikspitze zu den zugehörigen Logs und Traces springen kann, ohne den Kontext neu herleiten zu müssen.

Herausforderung

Die drei Signaltypen nutzten unterschiedliche Namen für dieselben Dinge: Service-Namen unterschieden sich in Groß- und Kleinschreibung und Suffix, Umgebungen waren uneinheitlich gelabelt, und in den Logs gab es keine gemeinsame Trace- oder Request-ID. Einen Alert mit seinen Logs zu korrelieren, hieß, dass ein Mensch unter Zeitdruck zwischen Namensschemata übersetzen musste. Zudem wurde derselbe Host durch doppelte Agents in der Landschaft mehrfach gescrapt.

Umgebung

Hybride Landschaft mit Kubernetes-Workloads und virtuellen Legacy-Maschinen, mehrere regulierte Umgebungen mit getrennter Datenresidenz.

Vorgehen

Die Designarbeit begann mit einer Label-Taxonomie statt mit Tools, denn Korrelation ist ein Benennungsproblem, bevor sie ein Produktproblem ist. Wir definierten einen verbindlichen Label-Satz, der einheitlich für Metriken, Logs und Traces gilt, legten die Trace Context Propagation so fest, dass Logzeilen die Trace-ID tragen, und entwarfen dann die Collection-Topologie, die das auf Agent-Ebene durchsetzt.

Lösung

  1. Verbindliche Label-Taxonomie für Service, Umgebung, Region und Team definiert, identisch angewandt auf Metriken, Logs und Traces
  2. Trace Context Propagation so gestaltet, dass Logzeilen Trace- und Span-IDs tragen – der Wechsel von Metrik zu Log zu Trace ist damit ein Klick
  3. Collection-Topologie auf einen einzigen Agent pro Host bereinigt, wodurch doppelte Scrapes und deren Speicherkosten entfallen
  4. Grenzen der Datenresidenz auf der Collection-Ebene durchgesetzt, damit regulierte Regionen nie Telemetrie über Grenzen hinweg senden
  5. Aufbewahrungsstufen je Signaltyp definiert: hochaufgelöste Daten kurz, heruntergerechnete Daten lang
  6. Migration Service für Service gestaffelt, mit Phasen paralleler Datenausgabe, damit kein Team während der Umstellung die Sicht verliert

Resultat

Engineers springen jetzt direkt in Grafana von einem Alert zu den korrelierten Logs und dem Trace, statt Identifikatoren von Hand zu übersetzen. Der Wegfall doppelter Erfassung senkte das Telemetrievolumen spürbar, und die gemeinsame Taxonomie hat sich beim Onboarding neuer Services bewährt.

Technologien

GrafanaPrometheusLokiTempoKubernetes

Brauchen Sie Architekturberatung für Grafana?

Die Senior Engineers von AceMQ für Grafana haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.