RabbitMQ auf Kubernetes zu betreiben ist etwas anderes, als RabbitMQ auf Bare Metal zu betreiben. Die Monitoring-Signale, die bei einem statischen VM-Cluster mit drei Nodes zählen, sind nicht dieselben, die Ihnen sagen, ob ein RabbitMQ-StatefulSet in einem Kubernetes-Cluster gesund ist, den Sie womöglich nicht vollständig kontrollieren. Auch die Fehlerbilder unterscheiden sich: Node-Evictions, Pod-Rescheduling, I/O-Konkurrenz in Multi-Tenant-Umgebungen und die besondere Art, wie der Raft-Konsens mit dem Kubernetes-Networking-Stack zusammenspielt, können Ausfälle verursachen, die Betreiber von Bare-Metal-Systemen nie erleben.
Wir haben inzwischen so viele dieser Incidents untersucht, dass klar ist, welche Signale wirklich zählen und was nur Rauschen ist. Wenn Sie auf einem RabbitMQ-Cluster unter Kubernetes nur fünf Dinge überwachen, dann diese fünf. Nach unserer Erfahrung in Finanzdienstleistung, auf SaaS-Plattformen und in Enterprise-Deployments mit hohem Durchsatz sind es die Metriken, die Fehler erkennen, bevor daraus Ausfälle mit Kundenauswirkung werden.
Warum RabbitMQ-Monitoring auf Kubernetes anders ist
Ein RabbitMQ-Cluster auf Bare Metal oder dedizierten VMs hat einen Hauptgegner: seine eigene Workload. Ein RabbitMQ-Cluster auf Kubernetes hat mehrere:
Geteilte Rechenressourcen. Sofern Sie keine dedizierten Nodes nutzen, konkurrieren Ihre RabbitMQ-Pods um CPU, Speicher und Disk-I/O mit allem, was Kubernetes sonst noch daneben einplant.
Netzwerk-Abstraktionsschichten. Der Kubernetes-Networking-Stack bringt zusätzliche Latenz zwischen den Pods, CNI-Overhead und eine Heartbeat-Schicht mit, mit der sich der Raft-Konsens die Bandbreite teilen muss.
StatefulSet-Semantik.RabbitMQ auf Kubernetes wird vom Cluster Operator als StatefulSet bereitgestellt, und StatefulSet-Pods werden bei einem Node-Ausfall nicht automatisch neu eingeplant – eine Tatsache, die Betreiber im ungünstigsten Moment überrascht.
Kopplung an Persistent Volumes. Bei Local-Path- oder Node-lokalem Storage kann ein neu eingeplanter Pod seinen vorherigen Zustand unter Umständen nicht wiederherstellen. Netzwerkgebundener Storage bringt seine eigenen I/O-Schwankungen mit.
Jeder dieser Punkte fügt eine Fehlerklasse hinzu, die auf dedizierter Infrastruktur unmöglich wäre. Ihr Monitoring muss sie alle berücksichtigen.
1. Gesundheit der Raft-Replikation bei Quorum Queues
Wenn Sie Quorum Queues einsetzen – und 2026 sollten Sie das auf RabbitMQ 4.x tun –, ist die Gesundheit der Raft-Replikation die wichtigste Metrik auf Ihrem Dashboard. Falls Sie noch nicht umgestiegen sind, lesen Sie unseren Leitfaden zur Migration auf Quorum Queues. Bei Quorum Queues nehmen ein Leader und seine Follower am Raft-Konsens teil und schreiben jede Nachricht auf eine Mehrheit der Nodes, bevor sie dem Publisher bestätigt wird. Verschlechtert sich Raft, verschlechtert sich alles, was davon abhängt.
Gerade auf Kubernetes verschärft sich Raft-Druck schnell. Das Konsensprotokoll braucht eine zuverlässige Kommunikation mit niedriger Latenz zwischen den Nodes, eine gleichbleibende Disk-Schreibleistung und genug CPU-Reserve, um Log-Einträge zu verarbeiten. Wird eine dieser Bedingungen enger – und auf Kubernetes geschieht das häufiger als auf Bare Metal –, gerät Raft in Rückstand, und Queues reagieren nicht mehr.
Was Sie tatsächlich überwachen sollten
rabbitmq_queue_messages, aufgeschlüsselt nach Leader- und Follower-Status.
rabbitmq_raft_log_commit_index und rabbitmq_raft_log_last_applied – die Differenz zwischen beiden ist Ihr Raft-Lag.
Häufigkeit von Leader Elections. Ein gesunder Cluster hat stabile Leader; wechseln die Leader ständig, stimmt etwas vorgelagert (Netzwerk, Disk, CPU) nicht.
Raft-Status pro Queue über die Management API: Follower-Status, Snapshot-Index, Disk-Nutzung.
Alert-Schwellenwerte
Alarmieren Sie, wenn das Raft-Log eines Followers länger als 30 Sekunden um mehr als einige tausend Einträge hinter dem Leader liegt. Alarmieren Sie, wenn auf einem stabilen Cluster mehr als einmal pro Stunde eine Leader Election stattfindet. Und alarmieren Sie sofort, wenn eine Quorum Queue ihr Quorum verloren hat – der Broker meldet das über seine Metriken, und Sie wollen es innerhalb von Sekunden wissen, nicht erst nach Minuten.
Warum das auf Kubernetes wichtiger ist
Auf Kubernetes kann Raft durchaus in einen Zustand geraten, in dem die Queue unbrauchbar wird und die üblichen Recovery-Verfahren nicht sauber greifen. Ein Muster, das wir in Produktion gesehen haben: Eine Quorum Queue hängt fest, rabbitmqctl delete_queue schlägt fehl, weil der Broker keinen Konsens für das Löschen herstellen kann, und um den Dienst wiederherzustellen, müssen Pods in einer bestimmten Reihenfolge beendet werden, damit eine neue Leader Election erzwungen wird. Diesen Zustand wollen Sie nicht durch Kundenbeschwerden entdecken. Sie wollen den steigenden Raft-Lag 10 Minuten früher sehen.
2. Memory Watermark und Flow-Control-Status
RabbitMQ hat einen eingebauten Schutzmechanismus, die Memory High Watermark. Überschreitet der Speicherverbrauch eines Brokers den Watermark-Schwellenwert, blockiert RabbitMQ die Publisher, damit dem Node nicht vollständig der Speicher ausgeht. Das ist so gewollt – ein Failsafe –, doch auf Kubernetes sind die Standardeinstellungen der Watermark oft falsch.
Expertenwissen: Watermark-Tuning speziell für Kubernetes
„Auf Kubernetes sollten Sie den Test mit einer Watermark von 40 % und einer Net Tick Time von 60 machen. Wir lassen Raft mehr Raum, damit es arbeiten kann, und zusätzlich Raum für das Networking. Das Networking bei RabbitMQ findet nicht nur zwischen den Nodes statt, sondern umfasst auch das Networking von Kubernetes und die Heartbeats der Pods. Sie konkurrieren um Ressourcen.“— Felipe Gutierrez, Senior Engineer, AceMQ
Die standardmäßige RabbitMQ-Memory-Watermark von 0.4 (40 %) gibt es, weil der Broker auf Kubernetes nicht das Einzige ist, was auf dem Pod oder dem Node Speicher belegt. Kubelet, CNI-Plugin, Container-Runtime und etwaige Sidecar-Container verbrauchen alle Speicher, um den herum Raft und der Broker Luft brauchen. Eine Watermark, die auf einer dedizierten VM sinnvoll ist, muss auf Kubernetes oft gesenkt werden, damit genug Reserve für Raft-Operationen und das Networking zwischen den Pods bleibt.
Was Sie tatsächlich überwachen sollten
rabbitmq_resident_memory_limit_bytes und rabbitmq_process_resident_memory_bytes – das Verhältnis der beiden ist Ihre aktuelle Watermark-Auslastung.
rabbitmq_connections_blocked_total – wie viele Publisher-Verbindungen RabbitMQ aktuell blockiert.
Flow-Control-Status pro Verbindung. Geraten Producer in Flow Control, gibt es irgendwo in der Pipeline ein Druckproblem – prüfen Sie als ersten Schritt das Prefetch-Tuning der Consumer.
Speicherverbrauch des Kubernetes-Pods im Vergleich zu seinem Memory Limit – wer das Pod-Limit erreicht, wird OOMKilled, und das ist ein deutlich schlimmerer Ausfall als das Erreichen der RabbitMQ-Watermark.
Alert-Schwellenwerte
Alarmieren Sie bei 80 % der konfigurierten Watermark – dann sind Sie kurz davor, Publisher zu blockieren. Alarmieren Sie sofort, sobald eine Verbindung blockiert wird. Und alarmieren Sie bei 90 % des Memory Limits des Kubernetes-Pods – das ist Ihre letzte Warnung, bevor das Kubelet den Pod beendet.
3. Disk-I/O-Konkurrenz und Schreiblatenz
Bei dieser Metrik schlägt Kubernetes am härtesten zu. RabbitMQ Quorum Queues sind konstruktionsbedingt diskintensiv – jeder Schreibvorgang durchläuft das Raft-Log, bevor er bestätigt wird. Ist der darunterliegende Storage langsam, schwankend oder überlastet, spürt das jeder Producer in Ihrem System.
Auf Kubernetes wird die Disk-Performance durch ein bestimmtes Fehlerbild verkompliziert, das wir immer wieder sehen: RabbitMQ teilt sich einen Node mit einer anderen I/O-lastigen Workload, typischerweise PostgreSQL, Kafka oder Elasticsearch. Hat die Nachbar-Workload eine Lastspitze, werden die Raft-Log-Schreibvorgänge von RabbitMQ langsamer, der Follower-Lag wächst, Leader werden neu gewählt, und der Cluster scheint sich auf rätselhafte Weise zu verschlechtern – aus Gründen, die der Betreiber nicht sofort nachvollziehen kann.
Expertenwissen: Das Muster der I/O-Konkurrenz
„Wenn Sie auf demselben Node immer noch mit Postgres konkurrieren: Raft ist nicht nur Speicher und Quorum – es braucht auch die Disk. Wird Postgres zur selben Zeit stark beansprucht, löst das genau die Diskussion aus, die ich gerade mit Ihnen führe. Sie sollten das trennen oder zumindest die Anzahl der RabbitMQ-Nodes reduzieren, damit Sie nicht um Ressourcen konkurrieren.“— Felipe Gutierrez, Senior Engineer, AceMQ
Was Sie tatsächlich überwachen sollten
rabbitmq_io_write_time_seconds_total und rabbitmq_io_write_bytes_total – der Verlauf der Schreiblatenz ist Ihr Frühwarnsystem.
Histogramme der Disk-Schreiblatenz auf Node-Ebene (der node_exporter in Kubernetes liefert sie).
Von RabbitMQ-Pods verbrauchte IOPS im Vergleich zu den IOPS aller anderen Workloads auf demselben Node.
Disk Queue Depth – liegt sie dauerhaft über 1–2, warten Sie auf die Disk.
Füllrate der Persistent Volumes – die Disk-Nutzung von Quorum Queues wächst mit Nachrichtenvolumen und Log-Retention.
Alert-Schwellenwerte
Alarmieren Sie, wenn die p99-Schreiblatenz der Disk auf einem RabbitMQ-Node 50 ms überschreitet. Alarmieren Sie bei einer Auslastung der Persistent Volumes über 75 %. Und alarmieren Sie, wenn die Disk Queue Depth länger als eine Minute dauerhaft über 2 liegt.
Architekturempfehlung
Reservieren Sie Kubernetes-Nodes nach Möglichkeit per Node Taints und Tolerations exklusiv für RabbitMQ. Betreiben Sie zustandsbehaftete, I/O-lastige Workloads in einem eigenen Node-Pool. Ist das nicht machbar, nutzen Sie für RabbitMQ und seine Nachbarn getrennte Persistent Volumes auf getrennten physischen Disks – die Kosten einer zusätzlichen Disk sind trivial im Vergleich zu den Kosten eines Produktionsausfalls durch I/O-Konkurrenz.
4. Pod-Scheduling, Restart-Anzahl und StatefulSet-Verhalten
Hier ist der Kubernetes-spezifische Stolperstein, der Betreiber kalt erwischt: RabbitMQ wird vom offiziellen Cluster Operator als StatefulSet bereitgestellt, und StatefulSet-Pods werden nicht automatisch auf einen anderen Node verschoben, wenn ihr aktueller Node ausfällt. Das ist so gewollt – ein StatefulSet bietet stabile Identität und stabilen Storage –, doch die betriebliche Konsequenz ist, dass ein Node-Ausfall einen RabbitMQ-Pod so lange offline nehmen kann, wie der Node ausgefallen ist.
Das ist keine theoretische Sorge. Wir haben Kunden durch Incidents begleitet, bei denen ein Kubernetes-Node ausfiel, der Pod des RabbitMQ-StatefulSets festsaß und die Anwendung über längere Zeit nicht verfügbar war – weil der Betreiber ein automatisches Rescheduling erwartete, das Kubernetes für StatefulSets schlicht nicht bietet.
Was Sie tatsächlich überwachen sollten
Restart-Anzahl pro RabbitMQ-Pod, im Zeitverlauf erfasst. Ein Pod mit 10+ Restarts an einem Tag will Ihnen etwas sagen.
Scheduling-Status der Pods – insbesondere jeder RabbitMQ-Pod, der länger als 60 Sekunden in Pending, Unschedulable oder ContainerCreating steht.
Status der Nodes, auf denen RabbitMQ-Pods laufen. Ein Node im Status NotReady ist eine tickende Uhr bis zum Pod-Ausfall.
StatefulSet-Readiness – wie viele der gewünschten Replicas aktuell Ready sind.
Fehlerraten der Liveness- und Readiness-Probes. Probe-Fehler unter Last zeigen meist an, dass der Broker überlastet ist, bevor er vollständig ausfällt.
Alert-Schwellenwerte
Alarmieren Sie sofort, wenn ein RabbitMQ-StatefulSet unter die gewünschte Replica-Anzahl fällt. Alarmieren Sie bei jedem Pod-Restart. Alarmieren Sie, sobald ein Node mit einem RabbitMQ-Pod in den Status NotReady wechselt. All das sind handlungsrelevante Zustände – hier soll ein Mensch draufschauen, kein Auto-Healing-Mechanismus, der bei StatefulSets funktioniert oder eben nicht.
Hinweis zur Architektur
Brauchen Sie nach einem Node-Ausfall eine schnellere automatische Wiederherstellung, als sie das Standardverhalten von StatefulSets bietet, haben Sie einige Optionen: Pod Disruption Budgets in Kombination mit automatisiertem Node-Drain, ein Deployment von RabbitMQ über mehrere Kubernetes-Availability-Zones, damit der Ausfall einer Zone nicht den ganzen Cluster lahmlegt, oder – in manchen Fällen – den Betrieb des Brokers auf dedizierten VMs ganz außerhalb von Kubernetes. Die richtige Wahl hängt von Ihrem Recovery Time Objective und der Reife Ihres Kubernetes-Betriebs ab.
5. Netzwerk-Heartbeats und Latenz zwischen den Nodes
RabbitMQ-Nodes kommunizieren untereinander über Distributed Erlang, und die Gesundheit dieser Kommunikation entscheidet darüber, ob der Cluster ein Cluster bleibt. Auf Kubernetes bringt die Netzwerkschicht zusätzliche Latenzschwankungen mit, die zu falsch-positiven Node-Ausfällen führen können: Der Broker hält einen Peer für ausgefallen, weil ein Heartbeat sein Zeitfenster verpasst hat, obwohl in Wirklichkeit nur das Kubernetes-CNI kurzzeitig langsam war.
Der Erlang-Standardwert für net_ticktime von 60 Sekunden ist für Kubernetes-Umgebungen oft zu aggressiv, insbesondere bei Overlay-Netzwerken oder zonenübergreifendem Traffic. Ihn anzupassen gehört zu den ersten Maßnahmen, wenn wir einen RabbitMQ-Cluster auf Kubernetes für die Produktion härten.
Was Sie tatsächlich überwachen sollten
Netzwerkpartitions-Events – RabbitMQ protokolliert sie, und sie sollten sofort einen Alert auslösen.
Latenz zwischen den RabbitMQ-Pods (messbar über einen einfachen Ping-Sidecar oder Service-Mesh-Metriken).
Auslastung des Erlang-Distribution-Buffers – rabbitmq_erlang_distribution_buffer_busy zeigt an, wann sich die Kommunikation zwischen den Nodes staut.
Verteilung der TCP-Verbindungszustände auf Node-Ebene. Eine wachsende Zahl von Verbindungen in TIME_WAIT oder CLOSE_WAIT kann auf sich anbahnende Netzwerkprobleme hinweisen.
Metriken auf CNI-Ebene, sofern verfügbar (Calico, Cilium usw.) – Paketverluste zwischen RabbitMQ-Pods sind ein Frühwarnsignal.
Alert-Schwellenwerte
Alarmieren Sie bei jedem Netzwerkpartitions-Event. Alarmieren Sie, wenn die p99-Latenz zwischen RabbitMQ-Pods 10 ms überschreitet. Alarmieren Sie bei einer Auslastung des Erlang-Distribution-Buffers über 50 %.
Tuning-Empfehlung
Erhöhen Sie net_ticktime auf Kubernetes als Ausgangswert vom Standard von 60 Sekunden auf 120 Sekunden. Das verschafft der CNI-Schicht mehr Luft und reduziert falsch-positive Partitions-Events bei normalem Netzwerk-Jitter drastisch. Längere Tick-Zeiten bedeuten eine etwas langsamere Erkennung tatsächlich ausgefallener Nodes, doch in Kubernetes-Umgebungen spricht die Abwägung eindeutig für Stabilität.
Das Gesamtbild: Ihre Alerting-Philosophie
Bei der Überwachung dieser fünf Bereiche geht es nicht darum, mehr Alerts zu erzeugen, sondern die richtigen. Nach unserer Erfahrung werden nicht diejenigen Betreiber am seltensten alarmiert, die am wenigsten überwachen, sondern diejenigen, die die richtigen Dinge mit den richtigen Schwellenwerten überwachen.
Eine sinnvolle Abstufung für einen RabbitMQ-Cluster auf Kubernetes:
P1 (sofort alarmieren): Quorum einer Queue verloren. Node NotReady. StatefulSet-Replicas unter Soll. Eine Publisher-Verbindung blockiert. Netzwerkpartition erkannt.
P2 (während der Geschäftszeiten alarmieren): Raft-Follower-Lag wächst anhaltend. Memory Watermark über 80 %. Disk-Latenz p99 über 50 ms. Pod-Restart. Ständig wechselnde Leader.
P3 (nur Dashboard, wöchentliche Prüfung): Kapazitätstrends. Füllrate der Disks. Wachstum der Verbindungsanzahl. Wachstum der Queue-Tiefe.
Alles andere ist Rauschen. Wird Ihre Rufbereitschaft für Dinge alarmiert, die weder in P1 noch in P2 passen, sind Ihre Alerts nicht auf das ausgerichtet, was wirklich zählt.
Fazit für die Praxis
Kubernetes ist eine gute Plattform für RabbitMQ – wenn Sie die Dinge überwachen, die Kubernetes anders macht. Die Denkmodelle aus dem Bare-Metal-Monitoring lassen sich nicht sauber übertragen. Die fünf Metrik-Kategorien oben überwachen wir in jedem RabbitMQ-Projekt auf Kubernetes, das wir betreuen, und wir empfehlen jedem Team, das RabbitMQ auf Kubernetes betreibt, sie vom ersten Tag an zu instrumentieren.
Wenn Sie einen RabbitMQ-Cluster auf Kubernetes übernehmen und dessen Monitoring schnell bewerten wollen, prüfen Sie diese fünf Punkte der Reihe nach:
Ist die Gesundheit der Raft-Replikation pro Queue sichtbar? Falls nicht, fliegen Sie beim Quorum blind.
Ist die Memory Watermark für Kubernetes eingestellt (näher an 0.4 als an 0.8)? Falls nicht, trennt Sie nur eine Traffic-Spitze von blockierten Publishern.
Wird die Disk-Latenz pro RabbitMQ-Node überwacht und alarmiert? Falls nicht, können Sie I/O-Konkurrenz nicht diagnostizieren, wenn sie zuschlägt.
Gibt es Alerts auf die Replica-Anzahl des StatefulSets und den Scheduling-Status der Pods? Falls nicht, wird Sie ein Node-Ausfall kalt erwischen.
Ist net_ticktime auf Ihre Kubernetes-Umgebung abgestimmt? Steht es noch auf dem Standardwert, bekommen Sie falsch-positive Partitionen.
Jeder Cluster, bei dem zwei oder mehr dieser Fragen mit „Nein“ beantwortet werden, ist nur einen betrieblichen Incident davon entfernt, genau zu erfahren, warum die Antwort „Ja“ hätte lauten müssen.
Die RabbitMQ-Monitoring-Checkliste für SREs
Wenn Sie nur einen Abschnitt dieses Beitrags lesen, dann diesen. Alles oben erklärt, warum jedes Signal zählt; das hier ist die Liste für Ihr Runbook. Aktivieren Sie das Plugin rabbitmq_prometheus (seit 3.8 integriert), scrapen Sie jeden Node und importieren Sie die offiziellen Grafana-Dashboards. Beobachten Sie dann vier Gruppen von Metriken.
Cluster. Jeder Node meldet sich (up auf jedem Scrape-Target), keine Partitionen (Health Check der Management API oder rabbitmqctl cluster_status, siehe den Abschnitt zu Netzwerkpartitionen oben), stabile Raft-Leader bei Quorum Queues (rabbitmq_raft_term_total sollte flach verlaufen; ein steigender Term bedeutet, dass Elections stattfinden) und beide Ressourcen-Alarme inaktiv (rabbitmq_alarms_memory_used_watermark und rabbitmq_alarms_free_disk_space_watermark sollten 0 sein). Verfolgen Sie auch die reine Reserve: rabbitmq_disk_space_available_bytes sowie rabbitmq_process_resident_memory_bytes im Verhältnis zu rabbitmq_resident_memory_limit_bytes.
Queues. Tiefe (rabbitmq_queue_messages_ready), unbestätigte Nachrichten (rabbitmq_queue_messages_unacked), Consumer-Anzahl (rabbitmq_queue_consumers) und Consumer-Auslastung (rabbitmq_queue_consumer_utilisation; ein niedriger Wert bedeutet, dass die Consumer untätig auf den Broker warten, ein Wert nahe 1, dass der Broker auf die Consumer wartet), Redelivery-Rate (rabbitmq_queue_messages_redelivered_total) und Dead-Letter-Rate. Tiefe allein ist kein Problem – eine Tiefe, die bei gleichbleibender Consumer-Anzahl immer weiter steigt, dagegen schon.
Durchsatz und Latenz. Publish- und Deliver-Raten (rabbitmq_queue_messages_published_total und rabbitmq_queue_messages_delivered_total, als Rate über ein Zeitfenster) sowie die Latenz der Publisher Confirms. Der Broker exportiert die Confirm-Latenz nicht direkt; messen Sie sie daher in der publizierenden Anwendung oder mit einem Canary-Publisher. Eine Lücke zwischen Publish- und Deliver-Rate, die sich nicht schließt, ist das früheste Kapazitätssignal, das Sie bekommen.
Plattform. Pod-Restarts (kube_pod_container_status_restarts_total für das RabbitMQ-StatefulSet), Latenz der Persistent Volumes aus Ihrer Storage Class oder dem Node Exporter sowie CPU-Throttling (container_cpu_cfs_throttled_periods_total im Verhältnis zu container_cpu_cfs_periods_total). Throttling von mehr als ein paar Prozent auf einem Broker-Pod zeigt sich als Confirm-Latenz, lange bevor in RabbitMQ selbst etwas auffällig wirkt. Die Abschnitte zu Pod-Scheduling und Disk-I/O oben erklären die Mechanik.
Die acht Alerts, die wir als Pflicht betrachten, mit Startwerten für die Schwellen. Passen Sie sie an Ihre Workload an; entscheidend ist, dass eine Warnung kommt, bevor die Rufbereitschaft alarmiert wird.
Metrik
Warnung
Alarmierung
Node ausgefallen (up == 0)
1 Node für 2 Min.
2+ Nodes oder 1 Node für 10 Min.
Netzwerkpartition erkannt
jede, sofort
jede, die 5 Min. anhält
Rate von rabbitmq_raft_term_total
mehr als 1 Election in 10 Min.
mehr als 3 in 10 Min.
rabbitmq_alarms_memory_used_watermark
Speicher über 70 % des Limits
Alarm gesetzt (Publisher blockiert)
rabbitmq_disk_space_available_bytes
unter 20 % frei
unter 2 × Disk Free Limit
rabbitmq_queue_messages_ready
wächst seit 15 Min.
5 Min. über Ihrer vereinbarten maximalen Tiefe
rabbitmq_queue_consumer_utilisation
unter 0,6 für 10 Min.
unter 0,3 bei wachsender Tiefe
Pod-Restarts
1 in 1 Stunde
3 in 1 Stunde oder CrashLoopBackOff
Zwei Dinge deckt diese Tabelle nicht ab. Erstens: Steigen die unbestätigten Nachrichten bei flacher Consumer-Anzahl, hängt meist ein Consumer, oder der Prefetch ist zu hoch; alarmieren Sie darauf pro kritischer Queue statt global. Zweitens ist die Dead-Letter-Rate workloadspezifisch; alarmieren Sie daher auf eine Abweichung von der Baseline statt auf einen festen Wert.
Leiten Sie die Warnstufe in einen Channel, den tagsüber jemand liest, und die Alarmierungsstufe an die Rufbereitschaft. Bauen Sie den Cluster von Grund auf neu auf, deckt unser Playbook für das Kubernetes-Deployment die Resource Requests, Storage Classes und Anti-Affinity-Regeln ab, die die meisten dieser Alerts ruhig halten. Löst trotzdem einer aus, ordnet der Troubleshooting-Leitfaden jedem Symptom einen Fix zu.
Brauchen Sie Unterstützung beim Härten Ihres RabbitMQ-Clusters auf Kubernetes?
AceMQ betreibt produktive RabbitMQ-Umgebungen auf Kubernetes für Enterprise-Kunden aus Finanzdienstleistung, SaaS und Gesundheitswesen sowie für Fortune-1000-Unternehmen. Wir bauen den Monitoring-Stack auf, tunen den Broker für Kubernetes-spezifische Fehlerbilder, validieren Ihre Failover-Verfahren und bleiben über den Produktivbetrieb hinweg auf Abruf, um die Incidents zu bearbeiten, die Sie hoffentlich nie erleben.
Wenn Ihr Team mit der Stabilität von RabbitMQ auf Kubernetes kämpft – oder ein Greenfield-Deployment auf Kubernetes plant und das Monitoring von Anfang an richtig aufsetzen will –, sprechen Sie mit unserem Team über ein RabbitMQ Health Assessment. Wir prüfen Ihr aktuelles Monitoring, identifizieren die Lücken und erstellen Ihnen einen Plan, um sie zu schließen. Wenn Sie kommerziellen RabbitMQ-Support oder RabbitMQ-Beratung brauchen: Genau das ist unser Geschäft.
FAQ
Wie sollten SREs RabbitMQ-Cluster überwachen?
Aktivieren Sie das Plugin rabbitmq_prometheus auf jedem Node, scrapen Sie es zusammen mit kube-state-metrics und cAdvisor, und importieren Sie die offiziellen Grafana-Dashboards. Alarmieren Sie auf vier Gruppen: Cluster-Zustand (Node erreichbar, Partitionen, Wechsel des Raft-Terms, Memory- und Disk-Alarme), Queue-Zustand (ready, unacked, Anzahl und Auslastung der Consumer, Redeliveries), Durchsatz (Publish- gegenüber Deliver-Rate, beim Publisher gemessene Confirm-Latenz) und Plattform-Zustand (Pod-Restarts, PV-Latenz, CPU-Throttling). Nutzen Sie eine Warnstufe, die in einen Channel geht, und eine Alarmierungsstufe für die Rufbereitschaft. Die Tabelle oben enthält Startwerte für die acht Alerts, die wir als Pflicht betrachten.
Welche RabbitMQ-Metriken deuten auf Kapazitätsprobleme hin?
Das früheste Signal ist eine Publish-Rate, die dauerhaft über der Deliver-Rate liegt. Danach folgt ein wachsendes rabbitmq_queue_messages_ready bei gleichbleibendem rabbitmq_queue_consumers – Sie brauchen also mehr oder schnellere Consumer. Liegt rabbitmq_queue_consumer_utilisation nahe 1, sind die Consumer der Engpass; liegt der Wert nahe 0, ist es der Broker. Auf Broker-Seite deuten residenter Speicher, der sich rabbitmq_resident_memory_limit_bytes nähert, ein sinkender Wert von rabbitmq_disk_space_available_bytes und CPU-Throttling am Pod allesamt auf einen unterdimensionierten Node hin. Lösen Memory- oder Disk-Alarme aus, ist die Kapazität bereits erschöpft, und Publisher werden blockiert.
Was verursacht Instabilität in RabbitMQ-Clustern?
Nach unserer Erfahrung sind die Ursachen, grob in dieser Reihenfolge: Netzwerkpartitionen durch Druck auf den Nodes oder falsch konfigurierte Pod Disruption Budgets; Memory-Alarme durch tiefe Queues oder unbegrenzte Verbindungszahlen; Disk-Konkurrenz auf geteilten Persistent Volumes, die Raft-Schreibvorgänge so stark verlangsamt, dass Leader Elections ausgelöst werden; StatefulSet-Pods, die auf Nodes verschoben werden, auf die ihr Volume nicht folgen kann; und Versionsabweichungen zwischen Nodes während eines Rolling Upgrades. Fast alle zeigen sich zuerst als steigender rabbitmq_raft_term_total oder als Pod-Restart – deshalb stehen diese beiden Alerts ganz oben in der Tabelle. Jede Ursache hat oben einen eigenen Abschnitt.
Brauchen wir ein kommerzielles Monitoring für RabbitMQ?
Nein. Das Plugin rabbitmq_prometheus, Prometheus und die offiziellen Grafana-Dashboards sind kostenlos, gut gepflegt und reichen für die meisten Umgebungen aus, auch für große. Was sie Ihnen nicht liefern, ist jemand, der sie um 3 Uhr nachts liest, bei drei gleichzeitig auslösenden Alerts weiß, welcher der acht der echte ist, und das Problem auf Ihrer Version schon einmal behoben hat. Genau das bringt ein Support-Vertrag. Wir decken 3.8.x bis 4.x ab, mit Reaktionszeitzielen ab 15 Minuten, je nach Plan – der Mehrwert liegt in der Reaktion, nicht in den Dashboards. Behalten Sie Ihr eigenes Monitoring; holen Sie uns für die Interpretation und den Fix dazu.
Monitoring ist Schritt sechs von acht im Leitfaden zu RabbitMQ auf Kubernetes, der Operator, Storage, Networking, Requests und Limits sowie Rolling Updates der Reihe nach behandelt.
Senior Enterprise Architect bei AceMQ. Verantwortet hier die technischen Beiträge: Architektur, Clustering und Migrationen von RabbitMQ, Kafka und Redis.
Mit einem Engineer sprechen
Brauchen Sie Unterstützung bei RabbitMQ?
Senior Engineers, die es selbst in Produktion betreiben. Fordern Sie ein Angebot oder ein kostenloses Erstgespräch an – ganz ohne Verkaufsgespräch.
Lassen Sie Experten auf Ihre RabbitMQ-Cluster-Umgebung schauen
Ob Sie einen Produktionsvorfall beheben, eine Migration planen oder eine zweite Meinung zu Ihrer Architektur wünschen – unser Team steht bereit. Kein Verkaufsgespräch, nur Antworten.