Zurück zu allen Kundenbeispielen

SupportFinanzdienstleistungen / Zahlungsverkehr

Schluss mit dem stundenlangen blinden Fleck im Monitoring nach jedem Prometheus-Neustart

Globaler Zahlungsdienstleister

Laufender Support für große Prometheus-Instanzen, bei denen Neustarts wegen eines langsamen Replays des Write-Ahead-Logs zu langen blinden Flecken im Monitoring führten.

Überblick

Ein Zahlungsdienstleister konnte Prometheus während der Geschäftszeiten nicht neu starten, weil das Replay so lange dauerte, dass eine erhebliche Monitoring-Lücke entstand. Damit wurde routinemäßiges Patchen zur Terminfrage. AceMQ bietet laufenden Support für das Neustartverhalten, die Retention und die Verfügbarkeit des Metrikpfads selbst.

Herausforderung

Jede Prometheus-Instanz führte eine sehr hohe Zahl aktiver Serien, sodass das WAL-Replay beim Start lange lief und die Instanz bis zu seinem Abschluss keine Queries bediente. Jede Node-Eviction, jedes Konfigurations-Reload mit Neustart und jedes Versions-Upgrade erzeugte einen blinden Fleck, den das Risikomanagement während der Handelszeiten nicht akzeptierte. Der naheliegende Ausweg – eine zweite Replika – war versucht worden, lieferte aber inkonsistente Query-Ergebnisse, weil die Replikas nicht dedupliziert wurden.

Umgebung

Prometheus-Paare pro Region auf Kubernetes mit Langzeitspeicher, hoher Zahl aktiver Serien und regulierten Change-Fenstern.

Vorgehen

Wir haben den blinden Fleck von zwei Seiten angegangen: den Aufwand für das Replay selbst verringert und den Neustart für die abfragenden Systeme unsichtbar gemacht. Die Reduktion der Serien per Relabeling hat das Replay direkt verkürzt. Eine saubere Deduplizierung der Replikas vor dem Paar bedeutete, dass eine Instanz neu starten konnte, während die andere bediente – damit wurden Neustarts zum normalen Betrieb.

Lösung

  1. 24/7-Support mit Reaktionszeitzielen ab 15 Minuten, je nach Plan, und Senior Engineers, die die Topologie jeder Region kennen
  2. Anzahl der Serien reduziert, indem ungenutzte Metriken per Relabeling verworfen und doppelte Exporter zusammengelegt wurden
  3. Hochverfügbare Prometheus-Paare hinter einer deduplizierenden Query-Schicht, sodass eine Instanz unbemerkt neu starten kann
  4. Retention und Block Duration so abgestimmt, dass das WAL kleiner und das Replay kürzer wird, ohne den abfragbaren Zeitraum zu verlieren
  5. Verfahren für Neustart, Upgrade und Konfigurations-Reload dokumentiert und gegen das regulierte Change-Fenster geprobt
  6. Regelmäßiges Review des Serienwachstums, damit die Replay-Zeit begrenzt bleibt, wenn neue Services hinzukommen

Resultat

Neustarts erzeugen keine sichtbare Monitoring-Lücke mehr, und das Patchen ist von einer geplanten Aktion außerhalb der Geschäftszeiten zu einem routinemäßigen Rolling-Vorgang geworden. Die Replay-Zeit selbst ist um deutlich mehr als die Hälfte gesunken, nachdem ungenutzte Serien verworfen wurden.

Technologien

PrometheusThanosKubernetesGrafana

Brauchen Sie Expertensupport für Prometheus?

Die Senior Engineers von AceMQ für Prometheus haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.