Zurück zu allen Kundenbeispielen

AssessmentIndustrie / Fertigung

Herausfinden, warum die globale Sicht keiner einzigen Standortsicht entspricht

Hersteller für Industrieautomation

Assessment einer Prometheus-Federation-Topologie, die über ihre Grenzen hinausgewachsen war und an mehreren Standorten Lücken und doppelte Daten verursachte.

Überblick

Ein Hersteller, der Prometheus in jedem Werk und zusätzlich eine globale Federation-Ebene betrieb, stellte fest, dass die globalen Dashboards nicht mit den lokalen übereinstimmten. AceMQ bewertete die Topologie, um zu klären, ob Federation in dieser Größenordnung das richtige Muster war.

Herausforderung

Die hierarchische Federation zog Rohserien statt Aggregaten, sodass die globale Instanz in jedem Intervall eine enorme Datenmenge von jedem Standort abholte. Die Scrapes überschritten regelmäßig den Timeout und lieferten nur Teildaten – deshalb wichen globale und lokale Sicht voneinander ab. Standorte mit instabilen WAN-Verbindungen erzeugten Lücken, die wie Werksausfälle aussahen. Bei einem echten Produktionsvorfall konnte niemand sagen, welchen Zahlen man trauen durfte.

Umgebung

Prometheus an mehreren Produktionsstandorten mit instabiler WAN-Anbindung an eine zentrale Observability-Umgebung.

Vorgehen

Das Assessment maß, was die Federation tatsächlich übertrug, und stellte das dem Zeitbudget des Scrape-Timeouts gegenüber – damit lag das Problem der unvollständigen Scrapes offen. Anschließend bewerteten wir, ob die Anforderungen des Kunden mit Remote Write in einen zentralen Speicher besser erfüllt würden als mit Federation, und modellierten Bandbreiten- und Speicherbedarf beider Optionen anhand der realen Seriendaten.

Lösung

  1. Größe und Dauer der Federation-Payload je Standort gemessen und mit dem konfigurierten Scrape-Timeout verglichen
  2. Unvollständige Scrapes und Lücken mit WAN-Ereignissen korreliert, um Netzwerkprobleme von Konfigurationsproblemen zu trennen
  3. Recording Rules an jedem Standort entworfen, sodass nur Aggregate das Werk verlassen – die Federation-Payload sinkt um Größenordnungen
  4. Remote Write mit zentralem Langzeitspeicher als Alternative bewertet, Bandbreite und Speicher anhand der realen Seriendaten modelliert
  5. Pufferung und Retry-Verhalten festgelegt, damit ein WAN-Ausfall nachträglich aufgefüllte Daten statt einer dauerhaften Lücke hinterlässt
  6. Aufbewahrung je Standort definiert, damit lokale Engineers die volle Auflösung behalten, auch wenn nur Aggregate zentral ankommen

Resultat

Der Kunde stellte auf Recording Rules je Standort plus Remote Write um, was die Lücken durch unvollständige Scrapes vollständig beseitigte. Globale und lokale Dashboards stimmen jetzt überein, und WAN-Ausfälle werden nachträglich aufgefüllt, statt dauerhafte Lücken in den Daten zu hinterlassen.

Technologien

PrometheusGrafanaKubernetesLinux

Bereit für einen Prometheus-Health-Check?

Die Senior Engineers von AceMQ für Prometheus haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.