Überblick
Ein Hersteller, der Prometheus in jedem Werk und zusätzlich eine globale Federation-Ebene betrieb, stellte fest, dass die globalen Dashboards nicht mit den lokalen übereinstimmten. AceMQ bewertete die Topologie, um zu klären, ob Federation in dieser Größenordnung das richtige Muster war.
Herausforderung
Die hierarchische Federation zog Rohserien statt Aggregaten, sodass die globale Instanz in jedem Intervall eine enorme Datenmenge von jedem Standort abholte. Die Scrapes überschritten regelmäßig den Timeout und lieferten nur Teildaten – deshalb wichen globale und lokale Sicht voneinander ab. Standorte mit instabilen WAN-Verbindungen erzeugten Lücken, die wie Werksausfälle aussahen. Bei einem echten Produktionsvorfall konnte niemand sagen, welchen Zahlen man trauen durfte.
Umgebung
Prometheus an mehreren Produktionsstandorten mit instabiler WAN-Anbindung an eine zentrale Observability-Umgebung.
Vorgehen
Das Assessment maß, was die Federation tatsächlich übertrug, und stellte das dem Zeitbudget des Scrape-Timeouts gegenüber – damit lag das Problem der unvollständigen Scrapes offen. Anschließend bewerteten wir, ob die Anforderungen des Kunden mit Remote Write in einen zentralen Speicher besser erfüllt würden als mit Federation, und modellierten Bandbreiten- und Speicherbedarf beider Optionen anhand der realen Seriendaten.
Lösung
- Größe und Dauer der Federation-Payload je Standort gemessen und mit dem konfigurierten Scrape-Timeout verglichen
- Unvollständige Scrapes und Lücken mit WAN-Ereignissen korreliert, um Netzwerkprobleme von Konfigurationsproblemen zu trennen
- Recording Rules an jedem Standort entworfen, sodass nur Aggregate das Werk verlassen – die Federation-Payload sinkt um Größenordnungen
- Remote Write mit zentralem Langzeitspeicher als Alternative bewertet, Bandbreite und Speicher anhand der realen Seriendaten modelliert
- Pufferung und Retry-Verhalten festgelegt, damit ein WAN-Ausfall nachträglich aufgefüllte Daten statt einer dauerhaften Lücke hinterlässt
- Aufbewahrung je Standort definiert, damit lokale Engineers die volle Auflösung behalten, auch wenn nur Aggregate zentral ankommen
Resultat
Der Kunde stellte auf Recording Rules je Standort plus Remote Write um, was die Lücken durch unvollständige Scrapes vollständig beseitigte. Globale und lokale Dashboards stimmen jetzt überein, und WAN-Ausfälle werden nachträglich aufgefüllt, statt dauerhafte Lücken in den Daten zu hinterlassen.