Zurück zu allen Kundenbeispielen

FehlerbehebungSoftware / Digitale Plattformen

Eine Kardinalitätsexplosion stoppen, bevor sie das Monitoring endgültig lahmlegt

Digitale Commerce-Plattform

Notfallbehebung bei Prometheus-Servern, die nach einem Deployment mit einem unbegrenzten Label wiederholt per OOM beendet wurden.

Überblick

Eine Commerce-Plattform verlor die Sicht auf ihre Metriken, als ihre Prometheus-Server wenige Minuten nach dem Start per OOM beendet wurden. Auslöser war ein routinemäßiges Anwendungs-Deployment, die Ursache ein einziges neues Label.

Herausforderung

Ein Team hatte eine Benutzerkennung als Label an einen Request-Counter gehängt. Jeder einzelne Benutzer erzeugte eine neue Zeitreihe, sodass die Zahl der aktiven Serien während der Hauptverkehrszeiten unbegrenzt wuchs. Prometheus verbrauchte Speicher, bis der Kernel den Prozess beendete, und musste beim Neustart ein enorm angewachsenes Write-Ahead Log wiedereinspielen. Das dauerte so lange, dass der Prozess erneut beendet wurde, bevor er fertig war. Das Monitoring steckte in einer Crash-Schleife, aus der es sich nicht selbst befreien konnte – und das Team hatte während des Ausfalls überhaupt keine Metriken.

Umgebung

Prometheus auf Kubernetes mit mehreren Hundert Scrape Targets, das Grafana-Dashboards und Alertmanager-Routen speist.

Vorgehen

Oberste Priorität war, einen Prometheus-Prozess stabil zum Laufen zu bringen – dazu musste die WAL-Replay-Schleife durchbrochen werden, bevor die Metrik selbst angegangen wurde. Wir haben den Server in einen Zustand gebracht, in dem er das Replay abschließen konnte, die verantwortliche Serie anhand der Kardinalität identifiziert, sie in der Relabel-Stufe verworfen, damit sie nicht mehr aufgenommen wird, und anschließend Leitplanken eingezogen, damit sich diese Art von Fehler nicht unbemerkt wiederholen kann.

Lösung

  1. Crash-Schleife durchbrochen, indem der Prozess genug Spielraum für den Abschluss des WAL-Replays erhielt; anschließend bestätigt, dass Speicher und nicht Datenkorruption die Blockade verursachte
  2. Serien über den TSDB-Status nach Kardinalität gerankt, um das verantwortliche Label innerhalb von Minuten statt durch manuelle Sichtung zu finden
  3. Das unbegrenzte Label in metric_relabel_configs verworfen, damit es nicht mehr aufgenommen wird – unabhängig davon, was die Anwendung ausgibt
  4. sample_limit und label_limit pro Scrape-Konfiguration gesetzt, damit ein einzelnes fehlerhaftes Target den Server nicht erneut lahmlegen kann
  5. Kardinalitätsalarm auf die Wachstumsrate der aktiven Serien eingerichtet, der auslöst, bevor der Speicher kritisch wird
  6. Gemeinsam mit dem Anwendungsteam das richtige Muster umgesetzt – Benutzeridentitäten gehören in Logs und Traces, nicht in Metrik-Labels

Resultat

Die Zahl der aktiven Serien sank wieder auf ein tragfähiges Niveau, und die OOM-Crash-Schleife endete noch am selben Tag. Die Limits auf Scrape-Ebene haben seitdem zwei weitere Kardinalitätsfehler bereits bei der Aufnahme abgefangen, bevor einer davon den Server beeinträchtigte.

Technologien

PrometheusKubernetesGrafanaAlertmanager

Haben Sie ein Produktionsproblem mit Prometheus?

Die Senior Engineers von AceMQ für Prometheus haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.