BlogKubernetes

Messaging auf Kubernetes: Warum RabbitMQ und Kafka schwieriger sind, als sie aussehen

Scott Sternloff

Von Scott Sternloff, Senior Enterprise Architect

LinkedIn · Aktualisiert am · 14 Min. Lesezeit

Messaging auf Kubernetes: Warum RabbitMQ und Kafka schwieriger sind, als sie aussehen
Auf dieser Seite

Message Broker wie RabbitMQ und Kafka sind Stateful Workloads auf einer Plattform, die für zustandslose gebaut wurde. Kubernetes wurde um Pods als wegwerfbares „Cattle“ herum entworfen, während die Identität, die replizierten Daten und der Quorum-Status eines Brokers jeden Pod zum „Pet“ machen. Genau an dieser Unvereinbarkeit beginnen die meisten Messaging-Incidents in Container-Umgebungen.

Mit zustandslosen Web-Tiers kommt Kubernetes hervorragend zurecht: Pod beenden, ein neuer startet, nichts geht verloren. Message Broker genießen diesen Luxus nicht. Ein RabbitMQ-Node oder Kafka-Broker trägt Daten, Cluster-Mitgliedschaft und – im Fall von RabbitMQ – Quorum-Stimmen, mit denen der Rest des Clusters aktiv rechnet. Behandeln Sie ihn wie einen zustandslosen Pod, bekommen Sie hängende Terminierungen, gespaltene Cluster und Nachrichten, die unbemerkt nicht mehr fließen.

Das ist das allgemeine Muster hinter den produktspezifischen Problemen, die wir für RabbitMQ auf Kubernetes und OpenShift sowie für Kafka auf EKS, AKS und GKE behandelt haben. Die Wahl des Cloud-Providers für beide Broker ist eine eigene Frage, die wir in RabbitMQ auf EKS vs. AKS vs. GKE beantworten. Dieser Beitrag dreht sich um die Fehlerbilder, die beide Broker allein deshalb teilen, weil sie Stateful Workloads auf Kubernetes sind.

Warum tut sich Kubernetes mit Stateful-Messaging-Workloads so schwer?

Das gesamte Scheduling-Modell von Kubernetes setzt voraus, dass Pods austauschbar sind. Der Scheduler kann einen Pod auf jedem beliebigen Node beenden, neu einplanen und neu erstellen, und dem ReplicaSet eines Deployments ist es egal, welcher physische Node Replica 3 ausführt – es braucht nur irgendwo drei gesunde Replicas. Das ist die Philosophie „Cattle, not Pets“, auf der das gesamte Container-Ökosystem aufbaut, und für zustandslose Dienste ist sie das richtige Modell.

Ein Message Broker bricht auf drei Arten mit dieser Annahme. Er hat eine dauerhafte Identität – die Node-ID eines Kafka-Brokers oder der Name eines RabbitMQ-Nodes ist in den Cluster-Metadaten verankert und nicht gegen einen gleichnamigen Ersatz austauschbar. Er besitzt Daten auf der Disk, auf die der Cluster angewiesen ist, keinen Cache, der sich verwerfen und kostenlos neu aufbauen lässt. Und er nimmt an einem Quorum- oder Replikationsprotokoll teil, sodass das Entfernen eines Nodes verändert, was die verbleibenden Nodes dürfen. Ein einfaches Kubernetes-Deployment oder ein nackter Pod weiß davon nichts – er sieht nur einen Container, der gestoppt ist, und startet einen neuen.

Deshalb laufen beide Broker als StatefulSets statt als Deployments. Ein StatefulSet gibt jedem Pod einen stabilen, ordinalen Hostnamen (rabbitmq-0, kafka-broker-2) und über einen Headless Service in Kubernetes einen stabilen DNS-Namen. Vor allem aber erstellt und beendet es Pods in strikter Reihenfolge, einen nach dem anderen, und wartet jeweils, bis der Vorgänger Ready ist, bevor es den nächsten startet. Diese Reihenfolge ist eine bewusste Steuerung, kein Standardverhalten von Kubernetes – und sie existiert genau deshalb, weil ein Messaging-Cluster den gleichzeitigen Node-Wechsel nicht verkraftet, den ein zustandsloses Deployment mühelos wegsteckt. Das ist auch der Grund, warum eine Message Queue oder ein Message Broker als nackter Docker-Container auf einem einzelnen Host – ohne k8s, ohne Orchestrierung – für ein kleines Deployment manchmal die richtige Wahl ist: Sie umgeht diese ganze Problemkategorie, weil gar kein Scheduler im Spiel ist.

Was macht RabbitMQ und Kafka überhaupt zustandsbehaftet?

Jeder Stateful Broker auf Kubernetes löst dasselbe Grundproblem: Wie bleiben Identität und Daten eines Pods über Neustarts, Rescheduling und Node-Ausfälle hinweg mit ihm verbunden, wenn die Plattform all das standardmäßig als wegwerfbar behandelt?

Der Mechanismus dafür ist der PersistentVolumeClaim des StatefulSets, einer pro Pod über volumeClaimTemplates. Das Löschen eines Pods oder sogar das Herunterskalieren des StatefulSets löscht dessen PVC standardmäßig nicht – das ist Absicht, damit ein neu eingeplantes oder wiederhergestelltes Replica wieder an seine alten Daten angebunden wird, statt leer zu starten. Mit Kubernetes 1.27 wurde dieses Verhalten über persistentVolumeClaimRetentionPolicy konfigurierbar, sodass Sie getrennte Retain/Delete-Regeln für whenScaled und whenDeleted festlegen können. Die Aufbewahrung ist aber weiterhin der Standard, und für einen Broker ist sie fast immer die Einstellung, die Sie tatsächlich wollen.

Ein automatischer Schutz gegen jedes Fehlerbild ist das allerdings nicht. Es gibt Kubernetes lediglich die Primitive – stabile Identität, stabilen Storage, geordneten Lebenszyklus –, die ein Stateful Workload braucht. Ob diese Primitive korrekt konfiguriert sind, ist eine andere Frage, und genau sie verursacht die Incidents.

Was passiert wirklich, wenn ein Broker-Pod mitten in einem Rebalance evictet wird?

In der Praxis geht es beim Timing der Eviction schief. Kubernetes evictet Pods aus Gründen, die nichts mit dem internen Zustand des Messaging-Clusters zu tun haben – Ressourcendruck auf dem Node, ein Cluster Autoscaler, der einen Node zurückholt, eine zurückgeforderte Spot-Instanz oder ein manueller Drain während eines Cluster-Upgrades. Keiner dieser Auslöser prüft, ob gerade eine Partition Reassignment in Kafka oder eine Quorum Election in RabbitMQ läuft.

Bei Kafka erzwingt die Eviction eines Brokers, der für laufende Schreibvorgänge Partition Leader ist, eine neue Leader Election und verkleinert das In-Sync Replica Set, bis der Ersatz aufgeholt hat. Hatte der evictete Broker zusätzlich die Coordinator-Rolle einer Consumer Group inne, stehen die Consumer still, bis ein neuer Coordinator gewählt ist. Folgt eine zweite Eviction, bevor der erste Broker vollständig wieder beigetreten ist und seine Replicas neu aufgebaut hat, kann ein Rebalance-Sturm entstehen – Consumer Groups verteilen die Partitionen immer wieder neu, statt Nachrichten zu verarbeiten.

Bei RabbitMQ nutzen Quorum Queues Raft-basierte Replikation. Der Verlust eines Nodes mitten in einer Election ist daher verkraftbar, solange eine Mehrheit bestehen bleibt – werden aber zwei von drei Nodes gleichzeitig evictet, kann der verbleibende Node allein kein Quorum bilden. Die Queues dieses Clusters nehmen dann keine neuen Schreibzugriffe mehr an, bis wieder eine Mehrheit der Nodes verfügbar ist, obwohl die Pod-Anzahl im Namespace weiterhin Aktivität zeigt.

Die Lösung ist keine einzelne Kubernetes-Einstellung. Es geht darum sicherzustellen, dass Kubernetes nie freiwillig mehr Nodes gleichzeitig evictet, als das Messaging-Protokoll verkraftet – genau das soll ein PodDisruptionBudget durchsetzen (wo es an seine Grenzen stößt, lesen Sie weiter unten).

Warum dauert die Wiederanbindung eines PersistentVolumeClaim so lange?

Wird ein Stateful Pod auf einem neuen Node eingeplant, muss sich sein PersistentVolumeClaim vom alten Node lösen, bevor er an den neuen angebunden werden kann. Bei netzwerkgebundenem Block Storage – EBS, Azure Disk, Persistent Disk – geschieht das nicht sofort. Kubernetes muss bestätigen, dass der alte Node das Volume freigegeben hat, die Storage-API des Cloud-Providers muss die Detach-Anfrage verarbeiten, und erst dann gelingt das Attach auf dem neuen Node.

Am häufigsten stoßen Teams auf einen Multi-Attach error: Der neue Pod hängt in ContainerCreating fest, weil das Volume noch als an den alten Node angebunden markiert ist – meist, weil der alte Pod nicht sauber beendet wurde. Ein harter Node-Ausfall, ein zwangsweise gelöschter Pod oder ein Kubelet, das die Freigabe des Volumes nicht mehr melden konnte, bevor der Node verschwand, führen alle dazu. Da der meiste Block Storage in der Cloud nur den Zugriffsmodus ReadWriteOnce unterstützt, kann Kubernetes das Volume nicht einfach an beide Nodes anbinden und das später klären – es muss warten.

Diese Wartezeit kann bei einem einzigen Volume Minuten betragen, und Minuten wiegen für einen Broker weit schwerer als für einen zustandslosen Pod. Seine Peers betrachten ihn während des gesamten Zeitfensters als ausgefallen – genau das Eviction-Szenario aus dem vorigen Abschnitt. Die praktischen Gegenmaßnahmen sind die richtige Dimensionierung der PVCs, eine Storage Class mit schneller Bereitstellung und – wie oben beschrieben – Broker-Pods nicht zwangsweise zu löschen, ohne zu verstehen, welchen Zustand sie halten. Eine Kubernetes-Einstellung, die die Wiederanbindung sofort erledigt, gibt es nicht.

Kann ein Rolling Update wirklich eine Netzwerkpartition im Cluster verursachen?

Keine Netzwerkpartition im wörtlichen Sinn eines durchtrennten Kabels – aber der praktische Effekt kann so ähnlich sein, dass es sich lohnt, dafür zu planen. Ein Rolling Update auf einem StatefulSet nimmt die Pods einzeln und in umgekehrter Ordinalreihenfolge herunter und wartet, bis jeder Ersatz Ready meldet, bevor es zum nächsten übergeht. Prüft die Readiness Probe nur „Läuft der Prozess?“ statt „Ist dieser Node dem Cluster wieder beigetreten und hat die Replikation aufgeholt?“, geht Kubernetes bereitwillig zum nächsten Pod über, während der vorherige noch resynchronisiert. Dann sind zwei von drei Nodes gleichzeitig beeinträchtigt – für einen quorumbasierten Broker funktional dasselbe wie der Verlust einer Netzwerkverbindung.

Der andere häufige Auslöser ist eine Konfigurationsänderung, die zusammen mit dem Broker-Upgrade ausgerollt wird – eine Network Policy oder Service-Mesh-Regel, die der neue Pod nicht auf dieselbe Weise erbt wie seine Vorgänger, oder eine Scheduling-Änderung, durch die er in einem anderen Node Pool mit anderen Egress-Regeln landet. Ein Pod, der sauber startet, seine Peers aber nicht über den Port für die Kommunikation zwischen den Brokern erreicht, sieht aus Sicht des Clusters genauso aus wie eine echte Partition – obwohl an der zugrunde liegenden Netzwerkverbindung nichts ausgefallen ist.

Schützen PodDisruptionBudgets einen Messaging-Cluster wirklich?

PodDisruptionBudgets sind das richtige Werkzeug, decken aber nur einen Teil des Problems ab. Ein PDB begrenzt freiwillige Unterbrechungen – Node Drains, Scale-downs durch den Cluster Autoscaler und Rolling Updates, die über die Kubernetes-API ausgelöst werden. Gegen unfreiwillige Unterbrechungen hilft er nicht: einen abstürzenden Node, einen Out-of-Memory-Kill oder eine ohne Vorwarnung zurückgeforderte Spot-Instanz. Die Dokumentation von Kubernetes stellt ausdrücklich klar, dass ein PDB nicht wirklich garantiert, dass die angegebene Anzahl Pods verfügbar bleibt. Es kann nur verhindern, dass Kubernetes selbst freiwillig mehr Pods herunterfährt, als das Budget zulässt.

Setzen Sie ein PDB zu konservativ – etwa maxUnavailable: 0 bei einem Quorum-Cluster mit drei Nodes –, schaffen Sie ein anderes Problem: einen Node Drain, der nie abgeschlossen werden kann, weil Kubernetes sich weigert, den einen Pod zu evicten, der zwischen dem Budget und einer Verletzung steht. Das ist kein Bug, sondern das PDB tut genau das, wofür es konfiguriert wurde. Es bedeutet nur, dass der Drain – und das Cluster-Upgrade dahinter – hängen bleibt, bis jemand eingreift. Ein Incident-Muster, das häufig genug vorkommt, um ein eigenes zu sein.

Für einen quorumbasierten Broker mit drei Nodes ist die Einstellung, die sich in der Praxis bewährt, meist maxUnavailable: 1: Kubernetes kann einen Node für Wartungsarbeiten herunterfahren, während garantiert ist, dass die verbleibenden zwei weiterhin ein Quorum bilden – ohne jeden Drain auf unbestimmte Zeit zu blockieren.

Wie betreibt man RabbitMQ oder Kafka richtig auf Kubernetes?

Keines der oben beschriebenen Fehlerbilder schließt Messaging auf Kubernetes aus – sie bedeuten nur, dass die Defaults der Plattform allein nicht ausreichen. Was sich in Produktion durchgängig bewährt:

  • Nutzen Sie den offiziellen Operator, keine selbst geschriebenen Manifeste. Der RabbitMQ Cluster Operator und Strimzi für Kafka bilden die Logik für Reihenfolge, Pre-Stop und Reconciliation ab, die Sie mit handgeschriebenem StatefulSet-YAML neu erfinden müssten – und beim ersten Mal meist falsch umsetzen.
  • Setzen Sie ein PodDisruptionBudget, das zu Ihrer Quorum-Rechnung passt, statt eines Defaults, der von einem zustandslosen Dienst kopiert wurde – maxUnavailable: 1 bei einem Quorum-Cluster mit drei Nodes, nicht 2.
  • Nutzen Sie Pod Anti-Affinity über Nodes und Availability Zones hinweg, damit der Ausfall eines einzelnen Nodes oder einer Zone nicht auf einen Schlag die Quorum-Mehrheit kostet.
  • Nutzen Sie eine Storage Class mit volumeBindingMode: WaitForFirstConsumer, damit Volumes in der Zone bereitgestellt werden, in der der Pod tatsächlich landet, und dimensionieren Sie sie für den vollständigen Neuaufbau eines Replicas, nicht nur für den Normalbetrieb.
  • Bauen Sie Readiness Probes, die den Zustand des Clusters prüfen, nicht den des Prozesses. Ein Broker, der läuft, aber dem Cluster noch nicht wieder beigetreten ist oder die Replikation nicht aufgeholt hat, darf niemals Ready melden.
  • Verlangsamen Sie Rolling Updates bewusst während der Upgrade-Fenster und prüfen Sie zwischen jedem Pod-Neustart das Quorum bzw. die Anzahl der In-Sync Replicas, statt sich auf das Standardtempo des Rollouts zu verlassen.

Das ist dieselbe Betriebsdisziplin, egal in welcher Cloud der Cluster läuft – die Kubernetes-Primitive sind auf EKS, AKS, GKE und OpenShift identisch. Der Unterschied liegt darin, ob jemand sie für einen Stateful Broker konfiguriert, statt die Defaults für zustandslose Workloads stehen zu lassen.

Sollten Sie Messaging überhaupt auf Kubernetes betreiben?

Manchmal lautet die ehrliche Antwort: nein. RabbitMQ oder Kafka auf Kubernetes zu betreiben ist sinnvoll, wenn Ihr Team bereits Produktions-Cluster mit Kubernetes auf hohem Reifegrad betreibt – jemand verantwortet Storage Classes, PodDisruptionBudgets und Anti-Affinity ganz selbstverständlich – und der Broker in dasselbe Deployment- und Observability-Modell passen soll wie der Rest Ihres Cloud-Native-Stacks.

Weniger sinnvoll ist es, wenn Messaging auf Kubernetes der erste wirklich zustandsbehaftete Workload im Cluster wäre oder wenn niemand im Team einen Broker schon einmal durch einen echten Quorum-Verlust oder eine volle Disk gebracht hat. In diesem Fall tauscht ein Managed Messaging Service oder ein Broker, der außerhalb von Kubernetes auf dedizierten VMs läuft, etwas Komfort beim Deployment gegen deutlich weniger Alarme um 3 Uhr nachts. Die Entscheidung hängt weniger davon ab, welchen Cloud-Provider Sie nutzen, als davon, ob Ihre betriebliche Reife mit Kubernetes tatsächlich schon so weit ist.

Unterstützung beim Betrieb von Messaging auf Kubernetes

Sie planen ein RabbitMQ- oder Kafka-Deployment auf Kubernetes – oder debuggen gerade einen Cluster, der mitten in einer Eviction festhängt? Die Engineers von AceMQ betreiben zustandsbehaftete Messaging-Operatoren in Produktion, nicht nur die zustandslosen Workloads, für die Kubernetes gebaut wurde. Werfen Sie einen Blick auf unsere Services für Kubernetes und Container-Messaging, vertiefen Sie sich speziell in RabbitMQ oder Kafka, lassen Sie die Managed Services für RabbitMQ von AceMQ den RabbitMQ-Teil auf Ihrem Cluster betreiben oder sprechen Sie mit einem AceMQ-Engineer.

Speziell für RabbitMQ geht der Leitfaden zu RabbitMQ auf Kubernetes jedes dieser Fehlerbilder der Reihe nach durch – jeweils mit der Einstellung, die es verhindert.

FAQ

Warum ist der Betrieb von RabbitMQ oder Kafka auf Kubernetes schwieriger als bei einem typischen Microservice?

Der Scheduler von Kubernetes geht davon aus, dass Pods wegwerfbar und austauschbar sind – das Modell „Cattle, not Pets“. Ein Message Broker bricht mit dieser Annahme: Er hat eine dauerhafte Identität, besitzt replizierte Daten auf der Disk und nimmt an einem Quorum- oder Leadership-Protokoll teil, auf das der Rest des Clusters angewiesen ist. Wer einen Broker-Pod wie einen zustandslosen behandelt, bekommt hängende Terminierungen und gespaltene Cluster.

Was macht einen Message Broker zu einem Stateful Workload?

Drei Dinge, die ein zustandsloser Pod nicht hat: eine dauerhafte Identität, die in den Cluster-Metadaten verankert ist, Daten auf der Disk, auf die der Cluster angewiesen ist, statt eines verwerfbaren Caches, und die Teilnahme an einem Replikations- oder Quorum-Protokoll, bei dem das Entfernen eines Nodes verändert, was die verbleibenden Nodes dürfen. Deshalb laufen RabbitMQ und Kafka als StatefulSets, nicht als Deployments.

Was passiert, wenn Kubernetes einen Broker-Pod mitten in einem Rebalance evictet?

Bei Kafka erzwingt die Eviction des Partition Leaders mitten im Schreibvorgang eine neue Leader Election und verkleinert das In-Sync Replica Set. Wird ein zweiter Broker evictet, bevor der erste wieder beigetreten ist, kann ein Rebalance-Sturm entstehen. Bei den Quorum Queues von RabbitMQ führt der gleichzeitige Verlust von zwei der drei Nodes dazu, dass der verbleibende Node kein Quorum bilden kann – die Queues nehmen keine Schreibzugriffe mehr an, obwohl technisch noch ein Pod läuft.

Warum dauert es so lange, bis ein PersistentVolumeClaim nach dem Rescheduling eines Pods wieder angebunden ist?

Netzwerkgebundener Block Storage muss sich vom alten Node lösen, bevor er an den neuen angebunden werden kann, und die Storage-API des Cloud-Providers muss das verarbeiten. Wurde der alte Pod nicht sauber beendet, kann ein Multi-Attach error auftreten, und der Pod hängt minutenlang in ContainerCreating fest – für einen Broker weit schlimmer als für einen zustandslosen Pod, denn seine Peers betrachten ihn die ganze Zeit als ausgefallen.

Kann ein Rolling Update tatsächlich eine Netzwerkpartition innerhalb eines Broker-Clusters verursachen?

Keine buchstäblich getrennte Verbindung, aber der praktische Effekt ist ähnlich. Prüft eine Readiness Probe den Zustand des Prozesses statt den des Clusters, kann Kubernetes bei einem Rolling Update zum nächsten Pod übergehen, während der vorherige noch resynchronisiert – dann sind zwei Nodes gleichzeitig beeinträchtigt. Eine falsch konfigurierte Network Policy auf dem Ersatz-Pod, die den Port für die Kommunikation zwischen den Brokern blockiert, erzeugt dasselbe Symptom.

Schützen PodDisruptionBudgets einen Messaging-Cluster vollständig vor Unterbrechungen?

Nein. Ein PDB begrenzt nur freiwillige Unterbrechungen – Node Drains und Rolling Updates, die über die Kubernetes-API ausgelöst werden. Gegen einen Node-Absturz, einen OOM Kill oder eine ohne Vorwarnung zurückgeforderte Spot-Instanz hilft er nicht. Ist er zu streng gesetzt (maxUnavailable: 0 bei einem Cluster mit drei Nodes), bleiben Node Drains einfach hängen, statt abgeschlossen zu werden.

Was ist der größte Fehler, den Teams beim Betrieb von Messaging auf Kubernetes machen?

Die Defaults für zustandslose Workloads beizubehalten: ein PDB, das von einem Webservice kopiert wurde, eine Readiness Probe, die nur prüft, ob der Prozess läuft, und kein Plan dafür, wie lange die Wiederanbindung des PVC bei einem harten Node-Ausfall dauert. Die Kubernetes-Primitive, um alle drei Punkte zu beheben, gibt es – StatefulSets, PDBs, Storage Classes mit WaitForFirstConsumer –, sie sind nur nicht die Defaults.

Quellen

Scott Sternloff

Autor

Scott SternloffSenior Enterprise Architect

Senior Enterprise Architect bei AceMQ. Verantwortet hier die technischen Beiträge: Architektur, Clustering und Migrationen von RabbitMQ, Kafka und Redis.

Mit einem Engineer sprechen

Brauchen Sie Unterstützung bei Kubernetes?

Senior Engineers, die es selbst in Produktion betreiben. Fordern Sie ein Angebot oder ein kostenloses Erstgespräch an – ganz ohne Verkaufsgespräch.

Leitfäden, Vergleiche und Studien

Mehr zum Thema RabbitMQ

Kostenlose Beratung

Lassen Sie Experten auf Ihre Kubernetes-Umgebung schauen

Ob Sie einen Produktionsvorfall beheben, eine Migration planen oder eine zweite Meinung zu Ihrer Architektur wünschen – unser Team steht bereit. Kein Verkaufsgespräch, nur Antworten.

E-Mail schreiben