Auf dieser Seite
Worauf Sie alarmieren und was aufs Dashboard gehört
Worauf Sie alarmieren und was aufs Dashboard gehört
Alarmieren Sie auf die acht Signale unten. Alles andere ist Kontext, den Sie sich ansehen, wenn ein Alert bereits ausgelöst hat.
| Signal | Warum es vorauslaufend ist | Alarmieren bei |
|---|---|---|
| Trend der Queue-Tiefe | Die absolute Tiefe sagt nichts aus, anhaltendes Wachstum schon | Wachstum über ein gleitendes Zeitfenster, nicht bei fester Anzahl |
| Unacked Messages | Steigen, bevor eine Queue sichtbar ins Stocken gerät | Anhaltendes Wachstum bei verbundenen Consumern |
| Anzahl der Consumer | Null Consumer an einer aktiven Queue bleiben unbemerkt | Weniger Consumer als erwartet, pro Queue |
| Memory Watermark | Publisher werden blockiert, sobald sie erreicht ist | Annäherung an die Watermark, nicht erst deren Erreichen |
| Freier Speicherplatz | Dieselbe Blockade, langsamere Erholung | Annäherung an den Schwellenwert |
| Anzahl der Verbindungen und Channels | Churn erschöpft unbemerkt die File Descriptors | Steigender Trend plus absolute Obergrenze |
| Zustand der Quorum-Mitglieder | Eine Queue ohne Mehrheit nimmt keine Schreibzugriffe mehr an | Jedes nicht verfügbare Mitglied |
| Node- und Partitionsstatus | Partitionen sind aus der Anwendung heraus unsichtbar | Sofort, immer |
Mit dem Prometheus-Plugin erfassen, nicht durch Polling der Management API
Das integrierte Plugin rabbitmq_prometheus stellt Cluster-Metriken auf Port 15692 in einer Form bereit, die für das Scraping gemacht ist. Teams, die stattdessen die HTTP-API des Management-Plugins abfragen, erzeugen messbare Zusatzlast auf genau dem Broker, den sie beobachten wollen – vor allem bei Clustern mit vielen Queues, wo die API bei jeder Anfrage aggregiert.
Aktivieren Sie das Plugin, scrapen Sie es in einem normalen Intervall und halten Sie die Daten lange genug vor, um einen Wochenvergleich zu sehen. Die meisten nützlichen Alerts vergleichen den aktuellen Wert mit dem von vor einer Stunde. Ein Monitoring-Stack, der nur aktuelle Werte kennt, kann sie gar nicht abbilden.
Alarmieren, wie schnell eine Queue wächst – nicht, wie tief sie ist
Eine Queue mit fünfzigtausend Nachrichten ist bei einem Batch-Workload normal und bei Request-Reply ein Notfall. Ein Alert auf die absolute Tiefe meldet sich daher entweder ständig oder nie. Entscheidend ist, ob die Publish-Rate die Consume-Rate lange genug übersteigt, dass sich der Rückstau nicht mehr von selbst abbaut.
Alarmieren Sie auf anhaltendes Wachstum über ein gleitendes Zeitfenster, pro Queue, und passen Sie das Fenster daran an, wie stoßweise der Workload ist. Die absolute Tiefe bleibt als Kontext für den Incident auf dem Dashboard.
Unbestätigte Nachrichten als Frühsignal für einen Stillstand beobachten
Steigen die Unacked Messages, während die Consumer verbunden bleiben, ist das die deutlichste Frühwarnung, die RabbitMQ liefert: Die Consumer nehmen Nachrichten an, schließen sie aber nicht ab. Das zeigt sich lange bevor die Queue hängt, und genau diese Metrik unterscheidet einen langsamen Consumer von einem fehlenden.
Alarmieren Sie auf anhaltendes Wachstum der Unacked Messages und betrachten Sie dazu den Prefetch pro Consumer. Ein unbegrenzter Prefetch erlaubt einem einzelnen Consumer, einen großen Rückstau in Bearbeitung zu halten – und macht aus seinem Absturz einen Redelivery-Sturm.
Alarmieren, wenn eine Queue weniger Consumer hat als vorgesehen
Eine Queue ohne Consumer erzeugt keine Fehler. Publisher arbeiten weiter erfolgreich, die Tiefe wächst langsam, und nichts fällt auf, bis der Rückstau groß ist oder eine TTL beginnt, Nachrichten zu verwerfen. Typische Ursache sind Deployments, die sich nicht neu verbinden – und das geschieht lautlos.
Hinterlegen Sie für jede Queue die erwartete Anzahl an Consumern und alarmieren Sie, sobald eine Queue darunter fällt. Dies ist einer der wenigen RabbitMQ-Alerts, bei denen sich ein absoluter Schwellenwert statt eines Trends lohnt.
Aus unseren Projekten. Als fehlend gemeldete Consumer bei scheinbar gesunder Anwendung tauchen regelmäßig in den RabbitMQ-Support-Tickets auf, die wir bearbeiten – vor allem nach einer Migration auf Quorum Queues oder einer Änderung der Memory-Limits.
Memory- und Disk-Alarme bei Annäherung erkennen, nicht beim Eintreten
Überschreitet RabbitMQ seine Memory High Watermark oder seinen Schwellenwert für freien Speicherplatz, blockiert es die Publisher clusterweit. Wenn der Alarm auslöst, hat der Ausfall also bereits begonnen. Ein Alert auf den Alarm selbst ist damit eine Benachrichtigung, keine Warnung.
Alarmieren Sie stattdessen bei Annäherung, mit einem Abstand, der Zeit zum Handeln lässt, und werten Sie wiederholte Annäherungen als Sizing-Befund statt als Betriebsthema. Beobachten Sie auf virtualisierter Infrastruktur zusätzlich CPU Steal und Disk Await, denn Ressourcenkonkurrenz erzeugt dieselben Symptome ohne dieselbe Ursache.
Verbindungen und Channels im Trend verfolgen, um clientseitige Leaks zu erkennen
Stetig steigende Verbindungs- und Channel-Zahlen sind ein Fehler auf Client-Seite, nicht im Broker: eine Anwendung, die pro Nachricht eine Verbindung öffnet oder Channels nicht schließt. Das Symptom sieht aus wie ein Memory Leak in RabbitMQ, die Lösung liegt aber fast immer in der Anwendung.
Verfolgen Sie beide Zahlen sowie File Descriptors und Erlang-Prozesse im Trend, alarmieren Sie auf den Trend und auf eine absolute Obergrenze unterhalb der konfigurierten Limits, und ermitteln Sie über die Verbindungsmetadaten, welcher Client verantwortlich ist, bevor die Descriptors ausgehen.
Quorum-Mitgliedschaft und Node-Status direkt überwachen
Eine Quorum Queue, die ihre Mehrheit verloren hat, nimmt konstruktionsbedingt keine Schreibzugriffe mehr an. Eine Netzwerkpartition kann den Cluster zudem in einen Zustand bringen, den kein einzelner Node als fehlerhaft meldet. Beides ist aus der Anwendung erst sichtbar, wenn Publishes fehlschlagen.
Alarmieren Sie bei jedem nicht verfügbaren Quorum-Mitglied, bei Node-Down und bei Partitionsstatus – ohne Verzögerung und ohne Schwellenwert. Das sind die RabbitMQ-Alerts, die immer jemanden wecken sollten.
Auf Kubernetes die Signale ergänzen, die der Scheduler mitbringt
Der Betrieb auf Kubernetes bringt Fehlerbilder mit, die die Broker-Metriken nicht abdecken: Pod Eviction, Node Drain ohne ordnungsgemäßen RabbitMQ-Shutdown, Latenz der Storage Class und Memory Limits, die unter dem liegen, was der Node unter Last braucht. Ein Cluster kann in den eigenen Metriken von RabbitMQ gesund aussehen, während der Scheduler ihm gerade den Boden entzieht.
Überwachen Sie Pod-Neustarts, Eviction-Events und die Latenz der Persistent Volumes zusätzlich zu den Broker-Metriken, und stellen Sie sicher, dass ein Node Drain einen ordnungsgemäßen Broker-Shutdown auslöst statt einer Eviction.
Festlegen, wer den Alert um drei Uhr morgens liest
Monitoring erzeugt einen Alert – handeln muss ein Mensch. Umgebungen, die es bis hierhin geschafft haben und trotzdem lange Incidents erleben, leiten Alerts meist in einen Channel, aus dem niemand alarmiert wird, oder an einen Engineer, der für die Anwendung zuständig ist und nicht für den Broker.
Leiten Sie die acht Paging-Signale in das System, auf das Ihr Team ohnehin reagiert, belassen Sie alles andere auf dem Dashboard und prüfen Sie den Bereitschaftsweg mit einem Test-Alert, statt ihn vorauszusetzen. Gibt es intern keine RabbitMQ-Rufbereitschaft, ist genau das die Lücke, die ein Support-Vertrag schließt.
Häufig gestellte Fragen
Was sollte man bei RabbitMQ überwachen?
Die Queue-Tiefe als Änderungsrate, unbestätigte Nachrichten, die Consumer-Anzahl pro Queue, den Speicher- und Disk-Spielraum bis zu den Watermarks, Verbindungs- und Channel-Zahlen samt File Descriptors, die Verfügbarkeit der Quorum-Mitglieder, Node- und Partitionsstatus sowie auf Kubernetes die Signale zu Pods, Evictions und Volume-Latenz. Erfassen Sie die Daten über das Plugin rabbitmq_prometheus statt per Polling der Management API.
Bei welchen RabbitMQ-Metriken sollte tatsächlich jemand alarmiert werden?
Node down, Netzwerkpartition, jedes nicht verfügbare Quorum-Mitglied, Speicher oder Disk nahe der Watermark, anhaltendes Queue-Wachstum, das sich nicht abbaut, anhaltendes Wachstum der Unacked Messages bei verbundenen Consumern und eine Queue unterhalb ihrer erwarteten Consumer-Anzahl. Alles andere gehört aufs Dashboard und wird gelesen, nachdem ein Alert ausgelöst hat.
Sollte ich auf die Queue-Tiefe in RabbitMQ alarmieren?
Nicht auf einen absoluten Wert. Eine Tiefe, die bei einem Batch-Workload normal ist, ist bei Request-Reply ein Notfall – ein fester Schwellenwert meldet sich daher entweder ständig oder nie. Alarmieren Sie auf anhaltendes Wachstum über ein gleitendes Zeitfenster pro Queue und behalten Sie die absolute Tiefe als Kontext auf dem Dashboard.
Warum blockiert RabbitMQ Publisher, ohne dass die Anwendung einen Fehler meldet?
Der Cluster hat seine Memory High Watermark oder seinen Schwellenwert für freien Speicherplatz überschritten und wendet Flow Control an. Damit sind die Publisher clusterweit blockiert, bis der Alarm aufgehoben ist. Erst ein Alert bei Annäherung an diese Schwellenwerte statt auf den Alarm selbst macht daraus eine Warnung statt einer Ausfallmeldung.
Reicht das RabbitMQ-Management-Plugin für das Monitoring in Produktion?
Für Inspektion und Ad-hoc-Diagnose ist es gut geeignet. Das Abfragen seiner HTTP-API nach Metriken belastet den Broker jedoch zusätzlich, bei Clustern mit vielen Queues spürbar. Nutzen Sie für die Erfassung das Plugin rabbitmq_prometheus und die Management-Oberfläche, um sich während eines Incidents eine bestimmte Queue anzusehen.