Überblick
Ein Zahlungsdienstleister konnte Prometheus während der Geschäftszeiten nicht neu starten, weil das Replay so lange dauerte, dass eine erhebliche Monitoring-Lücke entstand. Damit wurde routinemäßiges Patchen zur Terminfrage. AceMQ bietet laufenden Support für das Neustartverhalten, die Retention und die Verfügbarkeit des Metrikpfads selbst.
Herausforderung
Jede Prometheus-Instanz führte eine sehr hohe Zahl aktiver Serien, sodass das WAL-Replay beim Start lange lief und die Instanz bis zu seinem Abschluss keine Queries bediente. Jede Node-Eviction, jedes Konfigurations-Reload mit Neustart und jedes Versions-Upgrade erzeugte einen blinden Fleck, den das Risikomanagement während der Handelszeiten nicht akzeptierte. Der naheliegende Ausweg – eine zweite Replika – war versucht worden, lieferte aber inkonsistente Query-Ergebnisse, weil die Replikas nicht dedupliziert wurden.
Umgebung
Prometheus-Paare pro Region auf Kubernetes mit Langzeitspeicher, hoher Zahl aktiver Serien und regulierten Change-Fenstern.
Vorgehen
Wir haben den blinden Fleck von zwei Seiten angegangen: den Aufwand für das Replay selbst verringert und den Neustart für die abfragenden Systeme unsichtbar gemacht. Die Reduktion der Serien per Relabeling hat das Replay direkt verkürzt. Eine saubere Deduplizierung der Replikas vor dem Paar bedeutete, dass eine Instanz neu starten konnte, während die andere bediente – damit wurden Neustarts zum normalen Betrieb.
Lösung
- 24/7-Support mit Reaktionszeitzielen ab 15 Minuten, je nach Plan, und Senior Engineers, die die Topologie jeder Region kennen
- Anzahl der Serien reduziert, indem ungenutzte Metriken per Relabeling verworfen und doppelte Exporter zusammengelegt wurden
- Hochverfügbare Prometheus-Paare hinter einer deduplizierenden Query-Schicht, sodass eine Instanz unbemerkt neu starten kann
- Retention und Block Duration so abgestimmt, dass das WAL kleiner und das Replay kürzer wird, ohne den abfragbaren Zeitraum zu verlieren
- Verfahren für Neustart, Upgrade und Konfigurations-Reload dokumentiert und gegen das regulierte Change-Fenster geprobt
- Regelmäßiges Review des Serienwachstums, damit die Replay-Zeit begrenzt bleibt, wenn neue Services hinzukommen
Resultat
Neustarts erzeugen keine sichtbare Monitoring-Lücke mehr, und das Patchen ist von einer geplanten Aktion außerhalb der Geschäftszeiten zu einem routinemäßigen Rolling-Vorgang geworden. Die Replay-Zeit selbst ist um deutlich mehr als die Hälfte gesunken, nachdem ungenutzte Serien verworfen wurden.