Leitfaden · RabbitMQ

Leitfaden zu RabbitMQ Monitoring und Alerting

Die meisten RabbitMQ-Monitoring-Setups scheitern in eine von zwei Richtungen: Entweder schlägt nichts an, bis ein Kunde den Ausfall meldet, oder alles schlägt an und die Rufbereitschaft liest nicht mehr mit. Der Unterschied liegt nicht im Tool. Entscheidend ist, Metriken zu wählen, die dem Incident vorausgehen, statt ihn nur zu bestätigen, und Schwellenwerte an der Änderungsrate statt an einem festen Wert auszurichten. Dieser Leitfaden zeigt, was Sie erfassen, worauf Sie alarmieren und was Sie auf dem Dashboard belassen sollten.

Tyler Eastridge

Von Tyler Eastridge, Head of Operations

LinkedIn · Aktualisiert am · 6 Min. Lesezeit · 9 Abschnitte

Auf dieser Seite

Worauf Sie alarmieren und was aufs Dashboard gehört

Worauf Sie alarmieren und was aufs Dashboard gehört

Alarmieren Sie auf die acht Signale unten. Alles andere ist Kontext, den Sie sich ansehen, wenn ein Alert bereits ausgelöst hat.

SignalWarum es vorauslaufend istAlarmieren bei
Trend der Queue-TiefeDie absolute Tiefe sagt nichts aus, anhaltendes Wachstum schonWachstum über ein gleitendes Zeitfenster, nicht bei fester Anzahl
Unacked MessagesSteigen, bevor eine Queue sichtbar ins Stocken gerätAnhaltendes Wachstum bei verbundenen Consumern
Anzahl der ConsumerNull Consumer an einer aktiven Queue bleiben unbemerktWeniger Consumer als erwartet, pro Queue
Memory WatermarkPublisher werden blockiert, sobald sie erreicht istAnnäherung an die Watermark, nicht erst deren Erreichen
Freier SpeicherplatzDieselbe Blockade, langsamere ErholungAnnäherung an den Schwellenwert
Anzahl der Verbindungen und ChannelsChurn erschöpft unbemerkt die File DescriptorsSteigender Trend plus absolute Obergrenze
Zustand der Quorum-MitgliederEine Queue ohne Mehrheit nimmt keine Schreibzugriffe mehr anJedes nicht verfügbare Mitglied
Node- und PartitionsstatusPartitionen sind aus der Anwendung heraus unsichtbarSofort, immer

Mit dem Prometheus-Plugin erfassen, nicht durch Polling der Management API

Das integrierte Plugin rabbitmq_prometheus stellt Cluster-Metriken auf Port 15692 in einer Form bereit, die für das Scraping gemacht ist. Teams, die stattdessen die HTTP-API des Management-Plugins abfragen, erzeugen messbare Zusatzlast auf genau dem Broker, den sie beobachten wollen – vor allem bei Clustern mit vielen Queues, wo die API bei jeder Anfrage aggregiert.

Aktivieren Sie das Plugin, scrapen Sie es in einem normalen Intervall und halten Sie die Daten lange genug vor, um einen Wochenvergleich zu sehen. Die meisten nützlichen Alerts vergleichen den aktuellen Wert mit dem von vor einer Stunde. Ein Monitoring-Stack, der nur aktuelle Werte kennt, kann sie gar nicht abbilden.

Alarmieren, wie schnell eine Queue wächst – nicht, wie tief sie ist

Eine Queue mit fünfzigtausend Nachrichten ist bei einem Batch-Workload normal und bei Request-Reply ein Notfall. Ein Alert auf die absolute Tiefe meldet sich daher entweder ständig oder nie. Entscheidend ist, ob die Publish-Rate die Consume-Rate lange genug übersteigt, dass sich der Rückstau nicht mehr von selbst abbaut.

Alarmieren Sie auf anhaltendes Wachstum über ein gleitendes Zeitfenster, pro Queue, und passen Sie das Fenster daran an, wie stoßweise der Workload ist. Die absolute Tiefe bleibt als Kontext für den Incident auf dem Dashboard.

Unbestätigte Nachrichten als Frühsignal für einen Stillstand beobachten

Steigen die Unacked Messages, während die Consumer verbunden bleiben, ist das die deutlichste Frühwarnung, die RabbitMQ liefert: Die Consumer nehmen Nachrichten an, schließen sie aber nicht ab. Das zeigt sich lange bevor die Queue hängt, und genau diese Metrik unterscheidet einen langsamen Consumer von einem fehlenden.

Alarmieren Sie auf anhaltendes Wachstum der Unacked Messages und betrachten Sie dazu den Prefetch pro Consumer. Ein unbegrenzter Prefetch erlaubt einem einzelnen Consumer, einen großen Rückstau in Bearbeitung zu halten – und macht aus seinem Absturz einen Redelivery-Sturm.

Alarmieren, wenn eine Queue weniger Consumer hat als vorgesehen

Eine Queue ohne Consumer erzeugt keine Fehler. Publisher arbeiten weiter erfolgreich, die Tiefe wächst langsam, und nichts fällt auf, bis der Rückstau groß ist oder eine TTL beginnt, Nachrichten zu verwerfen. Typische Ursache sind Deployments, die sich nicht neu verbinden – und das geschieht lautlos.

Hinterlegen Sie für jede Queue die erwartete Anzahl an Consumern und alarmieren Sie, sobald eine Queue darunter fällt. Dies ist einer der wenigen RabbitMQ-Alerts, bei denen sich ein absoluter Schwellenwert statt eines Trends lohnt.

Aus unseren Projekten. Als fehlend gemeldete Consumer bei scheinbar gesunder Anwendung tauchen regelmäßig in den RabbitMQ-Support-Tickets auf, die wir bearbeiten – vor allem nach einer Migration auf Quorum Queues oder einer Änderung der Memory-Limits.

Reaktionszeitziele ab 15 Minuten, je nach Plan. Namentlich zugeordnete Senior Engineers.

Kontakt

Memory- und Disk-Alarme bei Annäherung erkennen, nicht beim Eintreten

Überschreitet RabbitMQ seine Memory High Watermark oder seinen Schwellenwert für freien Speicherplatz, blockiert es die Publisher clusterweit. Wenn der Alarm auslöst, hat der Ausfall also bereits begonnen. Ein Alert auf den Alarm selbst ist damit eine Benachrichtigung, keine Warnung.

Alarmieren Sie stattdessen bei Annäherung, mit einem Abstand, der Zeit zum Handeln lässt, und werten Sie wiederholte Annäherungen als Sizing-Befund statt als Betriebsthema. Beobachten Sie auf virtualisierter Infrastruktur zusätzlich CPU Steal und Disk Await, denn Ressourcenkonkurrenz erzeugt dieselben Symptome ohne dieselbe Ursache.

Verbindungen und Channels im Trend verfolgen, um clientseitige Leaks zu erkennen

Stetig steigende Verbindungs- und Channel-Zahlen sind ein Fehler auf Client-Seite, nicht im Broker: eine Anwendung, die pro Nachricht eine Verbindung öffnet oder Channels nicht schließt. Das Symptom sieht aus wie ein Memory Leak in RabbitMQ, die Lösung liegt aber fast immer in der Anwendung.

Verfolgen Sie beide Zahlen sowie File Descriptors und Erlang-Prozesse im Trend, alarmieren Sie auf den Trend und auf eine absolute Obergrenze unterhalb der konfigurierten Limits, und ermitteln Sie über die Verbindungsmetadaten, welcher Client verantwortlich ist, bevor die Descriptors ausgehen.

Quorum-Mitgliedschaft und Node-Status direkt überwachen

Eine Quorum Queue, die ihre Mehrheit verloren hat, nimmt konstruktionsbedingt keine Schreibzugriffe mehr an. Eine Netzwerkpartition kann den Cluster zudem in einen Zustand bringen, den kein einzelner Node als fehlerhaft meldet. Beides ist aus der Anwendung erst sichtbar, wenn Publishes fehlschlagen.

Alarmieren Sie bei jedem nicht verfügbaren Quorum-Mitglied, bei Node-Down und bei Partitionsstatus – ohne Verzögerung und ohne Schwellenwert. Das sind die RabbitMQ-Alerts, die immer jemanden wecken sollten.

Auf Kubernetes die Signale ergänzen, die der Scheduler mitbringt

Der Betrieb auf Kubernetes bringt Fehlerbilder mit, die die Broker-Metriken nicht abdecken: Pod Eviction, Node Drain ohne ordnungsgemäßen RabbitMQ-Shutdown, Latenz der Storage Class und Memory Limits, die unter dem liegen, was der Node unter Last braucht. Ein Cluster kann in den eigenen Metriken von RabbitMQ gesund aussehen, während der Scheduler ihm gerade den Boden entzieht.

Überwachen Sie Pod-Neustarts, Eviction-Events und die Latenz der Persistent Volumes zusätzlich zu den Broker-Metriken, und stellen Sie sicher, dass ein Node Drain einen ordnungsgemäßen Broker-Shutdown auslöst statt einer Eviction.

Festlegen, wer den Alert um drei Uhr morgens liest

Monitoring erzeugt einen Alert – handeln muss ein Mensch. Umgebungen, die es bis hierhin geschafft haben und trotzdem lange Incidents erleben, leiten Alerts meist in einen Channel, aus dem niemand alarmiert wird, oder an einen Engineer, der für die Anwendung zuständig ist und nicht für den Broker.

Leiten Sie die acht Paging-Signale in das System, auf das Ihr Team ohnehin reagiert, belassen Sie alles andere auf dem Dashboard und prüfen Sie den Bereitschaftsweg mit einem Test-Alert, statt ihn vorauszusetzen. Gibt es intern keine RabbitMQ-Rufbereitschaft, ist genau das die Lücke, die ein Support-Vertrag schließt.

Häufig gestellte Fragen

Was sollte man bei RabbitMQ überwachen?

Die Queue-Tiefe als Änderungsrate, unbestätigte Nachrichten, die Consumer-Anzahl pro Queue, den Speicher- und Disk-Spielraum bis zu den Watermarks, Verbindungs- und Channel-Zahlen samt File Descriptors, die Verfügbarkeit der Quorum-Mitglieder, Node- und Partitionsstatus sowie auf Kubernetes die Signale zu Pods, Evictions und Volume-Latenz. Erfassen Sie die Daten über das Plugin rabbitmq_prometheus statt per Polling der Management API.

Bei welchen RabbitMQ-Metriken sollte tatsächlich jemand alarmiert werden?

Node down, Netzwerkpartition, jedes nicht verfügbare Quorum-Mitglied, Speicher oder Disk nahe der Watermark, anhaltendes Queue-Wachstum, das sich nicht abbaut, anhaltendes Wachstum der Unacked Messages bei verbundenen Consumern und eine Queue unterhalb ihrer erwarteten Consumer-Anzahl. Alles andere gehört aufs Dashboard und wird gelesen, nachdem ein Alert ausgelöst hat.

Sollte ich auf die Queue-Tiefe in RabbitMQ alarmieren?

Nicht auf einen absoluten Wert. Eine Tiefe, die bei einem Batch-Workload normal ist, ist bei Request-Reply ein Notfall – ein fester Schwellenwert meldet sich daher entweder ständig oder nie. Alarmieren Sie auf anhaltendes Wachstum über ein gleitendes Zeitfenster pro Queue und behalten Sie die absolute Tiefe als Kontext auf dem Dashboard.

Warum blockiert RabbitMQ Publisher, ohne dass die Anwendung einen Fehler meldet?

Der Cluster hat seine Memory High Watermark oder seinen Schwellenwert für freien Speicherplatz überschritten und wendet Flow Control an. Damit sind die Publisher clusterweit blockiert, bis der Alarm aufgehoben ist. Erst ein Alert bei Annäherung an diese Schwellenwerte statt auf den Alarm selbst macht daraus eine Warnung statt einer Ausfallmeldung.

Reicht das RabbitMQ-Management-Plugin für das Monitoring in Produktion?

Für Inspektion und Ad-hoc-Diagnose ist es gut geeignet. Das Abfragen seiner HTTP-API nach Metriken belastet den Broker jedoch zusätzlich, bei Clustern mit vielen Queues spürbar. Nutzen Sie für die Erfassung das Plugin rabbitmq_prometheus und die Management-Oberfläche, um sich während eines Incidents eine bestimmte Queue anzusehen.

Kostenlose Beratung

Lassen Sie Experten auf Ihre RabbitMQ-Cluster-Umgebung schauen

Ob Sie einen Produktionsvorfall beheben, eine Migration planen oder eine zweite Meinung zu Ihrer Architektur wünschen – unser Team steht bereit. Kein Verkaufsgespräch, nur Antworten.

E-Mail schreiben