Die kurze Antwort: Verwenden Sie standardmäßig Quorum Queues und behalten Sie Classic Queues für wirklich flüchtige Arbeit mit hohem Durchlauf, bei der der Verlust einer Nachricht bei einem Node-Ausfall akzeptabel ist. Diese Empfehlung gilt schon eine ganze Weile, doch die Begründung ist wichtiger als die Regel – denn die beiden Ausnahmen und die Migrationskosten sind das, was Teams tatsächlich zu schaffen macht.
Diese Frage taucht in RabbitMQ-Assessments ständig auf, meist in einer von zwei Formen: Ein Betreiber hat einen Cluster voller Classic Queues geerbt und will wissen, ob sich die Umstellung trotz der Unterbrechung lohnt. Oder ein Team entwirft etwas Neues und braucht einen gut begründeten Standard.
Die drei Queue-Typen im Vergleich – nach dem, was zählt
RabbitMQ kennt drei Speichermechanismen, die man kennen sollte – und der dritte ist gar keine Queue. Genau deshalb wird er falsch eingesetzt.
Die Zeile, die über die meisten Designs entscheidet, ist Übersteht Stromausfall. Eine Quorum Queue repliziert und schreibt jede Nachricht auf einem Quorum der Nodes auf die Platte, bevor sie dem Publisher bestätigt wird. Eine Classic Queue persistiert lokal, hat aber keine Replikation – fällt der Node aus, ist die Queue mit weg. Ein Stream repliziert, führt aber vor der Bestätigung kein fsync aus und trägt damit dasselbe Risiko wie Kafka: in Ordnung für Telemetrie, falsch für Zahlungen.
Die Zeile, die häufig missverstanden wird, ist Lesen. Classic und Quorum Queues sind destruktiv: Ein Consumer nimmt die Nachricht, und sie ist weg. Streams sind nicht-destruktiv: Die Nachricht bleibt erhalten, und viele Consumer können dieselbe Historie unabhängig voneinander ab ihrem eigenen Offset lesen. Wenn Sie Nachrichten aus einer Queue erneut lesen möchten, brauchen Sie einen Stream.
Warum sich eine Quorum Queue fsync leisten kann
Der übliche Einwand gegen Quorum Queues lautet, dass das Schreiben auf die Platte bei jeder Nachricht langsam sein müsse. Ist es nicht – und der Grund ist eine Designentscheidung, die es zu verstehen lohnt, weil sie zugleich der schärfste technische Unterschied zwischen RabbitMQ und Kafka ist.
Quorum Queues teilen sich ein Write-Ahead-Log. Ein einziger Schreibvorgang auf die Platte deckt Nachrichten für viele verschiedene Queues ab. Die Kosten verteilen sich also auf den gesamten Broker, statt von jeder Queue einzeln getragen zu werden. Erst dadurch werden viele Queues, Replikation mit fsync und echter Durchsatz gleichzeitig praktikabel – drei Eigenschaften, von denen man normalerweise nur zwei haben kann.
Kafka geht den umgekehrten Weg: fsync erfolgt pro Partition und ist damit so teuer, dass Kafka standardmäßig davon abrät und sich allein auf Replikation verlässt. Das ist weniger ein Fehler als eine andere Wette. Es bedeutet aber, dass eine bestätigte Kafka-Nachricht im Page Cache mehrerer Broker liegt, nicht auf der Platte.
Es gibt einen zweiten, subtileren Vorteil. Raft deckt in einer Quorum Queue den Zustellstatus ab, nicht nur den Nachrichteninhalt – also welche Nachricht an welchen Consumer ausgegeben wurde und wie viele Credits dieser Consumer hält. Nach einem Leader-Failover setzt der neue Leader mit diesem Status nahtlos fort, statt einen ganzen Batch erneut zuzustellen. Erst dieser Mechanismus macht TTL pro Nachricht, Prioritäten, Verzögerungen und Dead-Letter-Routing überhaupt möglich.
Wie Quorum Queues Durability und Failover gewährleisten
Die oben beschriebene Verteilung der fsync-Kosten erklärt, warum Quorum Queues schnell genug für den Standardeinsatz sind. Sie erklärt aber nicht, wie sie den Ausfall eines Nodes mitten im Betrieb tatsächlich überstehen – und genau das sollten Sie verstehen, bevor Sie sich in der Produktion darauf verlassen.
Eine Quorum Queue ist eine Raft-Gruppe: eine ungerade Anzahl von Mitgliedern, eines pro Node, von denen jeweils eines zum Leader gewählt ist. Der Leader nimmt alle Publishes an und übernimmt die Zustellung an die Consumer; die Follower replizieren das Log des Leaders und stimmen bei Wahlen ab. Wird der Leader still – weil der Node abgestürzt ist oder das Netzwerk ihn abgeschnitten hat –, bemerken die Follower das an einem ausbleibenden Heartbeat. Sie warten einen zufälligen Election-Timeout ab, damit nicht zwei Follower im selben Moment eine Wahl ausrufen, und wer zuerst eine Mehrheit der Stimmen erreicht, wird für einen neuen Term zum Leader. Kein Eingriff durch den Betrieb nötig und keine für Clients sichtbare Ausfallzeit über den Reconnect hinaus.
Was ein Publisher Confirm tatsächlich bedeutet: RabbitMQ sendet die Bestätigung erst zurück, wenn die Nachricht auf eine Mehrheit der Gruppenmitglieder geschrieben wurde, nicht nur auf den Leader. Bei einer Queue mit drei Mitgliedern sind das zwei von dreien. Der Schreibvorgang ist dann dauerhaft gesichert, selbst wenn der Node mit dem dritten Replikat nie zurückkehrt; sein Verlust kostet Sie ein Replikat, nicht die Nachricht.
Dieses Mehrheitserfordernis bestimmt auch die Verfügbarkeit bei jeder Zahl von Ausfällen. Bei drei Mitgliedern gilt: Fällt eines aus, bilden die beiden verbleibenden weiterhin eine Mehrheit. Die Queue nimmt also weiter Schreibvorgänge an und arbeitet einfach mit einem Replikat weniger, bis der fehlende Node zurückkehrt und aus dem Raft-Log aufholt. Fallen zwei aus, kann der einzelne verbliebene Node allein keine Mehrheit bilden. Die Queue nimmt dann bewusst überhaupt keine Schreibvorgänge mehr an, statt zu riskieren, dass ein Mitglied mit unvollständigem Log zur unangefochtenen Quelle der Wahrheit wird. Dieselbe Logik steckt auf Cluster-Ebene hinter pause_minority, hier angewendet pro Queue.
Deshalb ist eine gerade Mitgliederzahl auch schlechter, als sie aussieht – nicht bloß unnötig. Eine Queue mit vier Mitgliedern toleriert ebenfalls nur den Verlust eines Mitglieds, denn danach bleiben zwei von vier, und das ist keine Mehrheit. Sie haben also ein komplettes zusätzliches Replikat samt Raft-Overhead und Speicherkosten hinzugefügt – für genau dieselbe Fehlertoleranz wie mit drei. Die Mitgliederzahl sollte aus diesem Grund immer ungerade sein. Für die Platzierung der Replikate gilt dieselbe Logik wie für die der Cluster-Nodes: ein Mitglied pro Node, verteilt auf getrennte Hosts oder Availability Zones, damit ein einzelner Infrastrukturausfall nie zwei Mitglieder derselben Queue gleichzeitig ausschalten kann.
Ein Praxisbeispiel: Quorum Queues in der Zahlungsverarbeitung
Die Zahlungsverarbeitung ist genau der Workload, für den das oben beschriebene Durability-Modell gemacht ist: Jede Nachricht zählt, die Reihenfolge innerhalb eines Kontos zählt, und stille Duplikate sind schlimmer als eine langsame Wiederholung. So greifen die einzelnen Bausteine in diesem konkreten Fall ineinander.
Topologie. Eine Quorum Queue mit drei Mitgliedern, ein Node pro Availability Zone, erfüllt sowohl die Durability-Anforderung als auch den Ausfall einer kompletten Zone – ohne jede Sonderbehandlung. Das ist dasselbe Muster mit drei AZs, das wir in unserem Leitfaden zu HA, Disaster Recovery und Cluster-Sizing beschreiben; ein Zahlungs-Workload ist genau der Fall, der es rechtfertigt, nicht auf eine einzige AZ zu verkleinern, um einen Node zu sparen.
Publisher Confirms statt Fire-and-Forget. Der Service, der eine Zahlung auslöst, wartet auf die Publish-Bestätigung des Brokers, bevor er dem Aufrufer meldet, dass die Zahlung angenommen wurde. Dank der oben beschriebenen Mehrheitsgarantie bedeutet diese Bestätigung, dass der Zahlungsauftrag auf mindestens zwei von drei Nodes dauerhaft gesichert ist, bevor irgendein nachgelagertes System davon erfährt.
Begrenzte Wiederholungen mit Dead Letter. Setzen Sie x-delivery-limit auf der Queue, damit eine Nachricht, deren Verarbeitung im Consumer immer wieder fehlschlägt, nicht endlos kreist. Hat sie ihre Zustellversuche ausgeschöpft, leiten Sie sie in eine eigene Dead-Letter-Queue weiter, statt sie zu verwerfen. Eine Payment-DLQ sollte als Alarmzustand behandelt werden, nicht als Mülleimer: Alles, was dort landet, muss sich ein Mensch oder ein automatisierter Abgleichsjob ansehen, denn es steht für eine Zahlung, die auch nach mehreren Versuchen nicht sauber abgeschlossen wurde.
Idempotente Consumer mit der Payment-ID als Schlüssel. Quorum Queues bieten wie Classic Queues eine At-least-once-Zustellung. Zusammen mit Zustelllimit und DLX kann ein Consumer dieselbe Zahlungsnachricht also mehr als einmal sehen. Konzipieren Sie den Consumer so, dass er vor der erneuten Buchung prüft, ob eine Payment-ID bereits als verarbeitet erfasst ist (oder einen Upsert darauf ausführt). So ist eine erneute Zustellung wirkungslos, statt eine doppelte Belastung oder einen doppelten Buchungseintrag zu erzeugen.
Single Active Consumer für geordnetes Settlement. Wenn die Reihenfolge des Settlements innerhalb eines Kontos zählt – etwa beim Verbuchen von Belastungen und Gutschriften in der richtigen Abfolge –, setzen Sie x-single-active-consumer auf der Queue. Dann verarbeitet sie jeweils nur eine Consumer-Instanz, mit automatischem Failover auf einen Backup-Consumer, falls der aktive ausfällt. Das kostet etwas Durchsatz zugunsten einer strikten Reihenfolge pro Queue – bei Geldbewegungen meist der richtige Tausch.
Was Sie überwachen sollten. Queue-Tiefe und Consumer-Lag der Payment-Queue selbst, die DLQ-Tiefe (sie sollte nahe null liegen; jedes anhaltende Wachstum ist ein Incident), die Zahl der erneuten Zustellungen pro Consumer (ein steigender Trend deutet auf einen Consumer-Bug hin, nicht auf ein Problem des Brokers) und den Sync-Status der Replikate über alle drei Mitglieder, damit ein nachhinkendes Replikat auffällt, bevor es das letzte verbliebene ist. Wie sich dieselben Durability-Garantien über diese eine Queue hinaus in einem größeren ereignisgesteuerten Design zusammensetzen, lesen Sie unter Exchanges, Queues und Bindings für Microservices. Das Gesamtbild, wie AceMQ ein Messaging-Design auf Zahlungsverkehrsniveau zuschneidet, finden Sie unter Resilienz und Zahlungsoptimierung.
Was Sie bei der Umstellung aufgeben
Die meisten Empfehlungen enden bei „Nutzen Sie Quorum Queues“. Interessant sind aber die beiden Dinge, die Teams tatsächlich in die Falle laufen lassen.
Der Speicherbedarf pro Queue ist höher. Eine Quorum Queue trägt Raft-Zustand mit sich und belegt mehr Speicher als eine Classic Queue. Sieht Ihr Design Tausende kleiner, kurzlebiger Queues vor – ein gängiges Muster pro Session oder pro Request –, kann die gleichzeitige Umstellung aller Queues einen Cluster unter Speicherdruck setzen, den es vorher nicht gab. Das ist der häufigste Weg, auf dem eine gut gemeinte Migration einen Incident verursacht.
Prioritäten funktionieren anders. Classic Queues implementieren Prioritäten über x-max-priority. Quorum Queues behandeln Prioritäten anders und bieten nicht denselben Mechanismus. Eine Queue, deren Verhalten von der Prioritätssemantik der Classic Queues abhängt, muss daher neu konzipiert und nicht einfach neu deklariert werden. Finden Sie diese Queues, bevor Sie die Migration planen, nicht währenddessen.
Außerdem gibt es eine harte Obergrenze, die Sie kennen sollten: Eine Quorum Queue ist nicht geshardet. Sie erreicht mit Replikation und fsync maximal rund 80.000 Nachrichten pro Sekunde, und Sie können eine Queue nicht auf mehrere Nodes aufteilen, um schneller zu werden. Der Gesamtdurchsatz über viele Queues skaliert problemlos, doch ein einzelner sehr heißer Fluss braucht Sharding auf Anwendungsebene – also das Publizieren auf N Queues mit einem Routing Key, der die Last verteilt. Diese Einschränkung und den Vergleich mit der Partitionierung in Kafka behandeln wir in RabbitMQ vs. Kafka.
Die Wahl – und was eine Umstellung tatsächlich kostet
Vier Fragen entscheiden es für eine bestimmte Queue.
Der Warnhinweis im Diagramm spiegelt die betriebliche Realität wider: Der Queue-Typ wird bei der Deklaration festgelegt. Eine direkte Umwandlung gibt es nicht. Migrieren heißt: neue Quorum Queue deklarieren, Publisher und Consumer darauf umstellen, die Classic Queue leerlaufen lassen und sie entfernen, sobald sie leer ist. Auf einem Live-System ist das eine koordinierte Änderung mit Drain-Fenster, keine Konfigurationsanpassung.
Die Reihenfolge, die funktioniert: Stellen Sie zuerst die Queues um, deren Arbeit Sie sich nicht leisten können zu verlieren – in kleinen Batches und mit Blick auf den Speicher. Lassen Sie wirklich flüchtige Queues als Classic Queues bestehen. Widerstehen Sie dem Drang, alles in einem Durchgang umzustellen – genau diese Änderung macht aus einer Sicherheitsverbesserung einen Ausfall.
Wenn Sie eine Umstellung in einer großen Umgebung abwägen und die Stolpersteine bei Speicher und Prioritäten vorher statt währenddessen finden möchten, ist das fester Bestandteil eines RabbitMQ Health Checks – oder sprechen Sie mit AceMQ über den Projektumfang.
Was ist der Unterschied zwischen einer Classic Queue und einer Quorum Queue?
Eine Classic Queue liegt auf einem einzigen Node und persistiert jede Nachricht einzeln. Fällt dieser Node aus, sind die Queue und ihr Inhalt nicht verfügbar, bis er zurückkehrt. Eine Quorum Queue wird per Raft-Konsens über eine ungerade Anzahl von Nodes repliziert und schreibt jede Nachricht auf einem Quorum der Replikate auf die Platte, bevor sie dem Publisher bestätigt wird. Classic ist lokal und eignet sich für schnellen Durchlauf; Quorum ist repliziert und sicher und der empfohlene Standard für alles, was Sie sich nicht leisten können zu verlieren.
Sind Quorum Queues langsamer als Classic Queues?
Etwas, aber weniger, als die meisten erwarten. Eine einzelne Quorum Queue erreicht mit Replikation und fsync rund 80.000 Nachrichten pro Sekunde; eine Classic Queue liegt etwas darüber, weil sie beides nicht tut. Quorum Queues bleiben schnell, weil sie sich ein Write-Ahead-Log teilen: Ein fsync deckt viele Queues ab, die Kosten werden also verteilt statt pro Queue bezahlt.
Wann sollte ich noch eine Classic Queue verwenden?
Wenn die Arbeit wirklich flüchtig ist, mit hohem Durchlauf, und der Verlust einer Nachricht bei einem Node-Ausfall akzeptabel ist – etwa Broadcasts zur Cache-Invalidierung, kurzlebige Benachrichtigungen oder Zwischenergebnisse, die ohnehin neu erzeugt werden. Classic Queues belegen zudem weniger Speicher pro Queue. Das ist relevant, wenn Sie sehr viele kleine, kurzlebige Queues betreiben.
Kann ich eine Classic Queue direkt in eine Quorum Queue umwandeln?
Nein. Der Queue-Typ wird bei der Deklaration festgelegt. Eine Umstellung bedeutet daher: neue Quorum Queue deklarieren, Publisher und Consumer darauf umstellen, die Classic Queue leerlaufen lassen und anschließend entfernen. Planen Sie das als Migration mit Drain-Fenster. Tausende Queues in einem Durchgang umzustellen, ist die Migration, die am häufigsten schiefgeht.
Unterstützen Quorum Queues Nachrichtenprioritäten?
Nicht auf dieselbe Weise. Classic Queues unterstützen Prioritäten über das Argument x-max-priority; Quorum Queues behandeln Prioritäten anders und bieten nicht denselben Mechanismus. Eine Queue, die auf der Prioritätssemantik von Classic Queues beruht, muss daher neu konzipiert und nicht einfach umgestellt werden. Das und der höhere Speicherbedarf pro Queue sind die beiden Stolpersteine, über die Teams mitten in der Migration fallen.
Wie viele Nodes brauchen Quorum Queues?
Eine ungerade Anzahl, wobei drei die praktische Basis sind – so wird der Ausfall eines Nodes toleriert und die Mehrheit bleibt erhalten. Fünf sind in größeren Deployments üblich und tolerieren zwei Ausfälle. Über fünf hinaus wächst der Konsens-Overhead, ohne dass die Sicherheit nennenswert steigt; größere Cluster ergeben sich daher meist aus anderen Gründen als den Quorum-Anforderungen.
Ersetzen Streams die Quorum Queues?
Nein – sie lösen ein anderes Problem. Ein Stream ist ein Append-only-Log mit nicht-destruktiven Lesezugriffen: Das Konsumieren entfernt die Nachricht nicht, und viele Consumer können dieselbe Historie unabhängig voneinander lesen. Eine Quorum Queue ist eine Work Queue mit destruktiven Lesezugriffen und Bestätigung pro Nachricht. Streams führen zudem vor der Bestätigung kein fsync aus und bieten daher eine schwächere Durability-Garantie.
Überstehen Quorum Queues Node-Ausfälle?
Ja, dafür sind sie gemacht. Eine Quorum Queue repliziert jede Nachricht per Raft-Konsens auf eine Mehrheit ihrer Mitglieder, bevor sie den Publish bestätigt. Eine Queue mit drei Mitgliedern arbeitet daher nach dem Verlust eines Nodes weiter und nimmt erst dann keine Schreibvorgänge mehr an, wenn ein zweiter ausfällt, weil zwei von drei nicht mehr erreichbar sind. Platzieren Sie die Mitglieder einzeln pro Node auf getrennten Hosts oder in verschiedenen Availability Zones, damit ein einzelner Infrastrukturausfall nie mehr als ein Replikat auf einmal kosten kann.
Schaffen Quorum Queues den Durchsatz für die Zahlungsverarbeitung?
Eine einzelne Quorum Queue erreicht mit Replikation und fsync maximal rund 80.000 Nachrichten pro Sekunde – weit mehr, als die meisten Zahlungs-Workloads pro Queue benötigen. Braucht ein bestimmter Fluss mehr, verteilen Sie ihn per Routing Key auf mehrere Quorum Queues, statt zu erwarten, dass eine Queue weiter skaliert; Quorum Queues sind intern nicht geshardet. In Kombination mit Publisher Confirms, `x-delivery-limit`, Dead-Lettering und idempotenten Consumern ist bei Zahlungen selten der Durchsatz der limitierende Faktor, sondern die Korrektheit bei Wiederholungen.
Senior Enterprise Architect bei AceMQ. Verantwortet hier die technischen Beiträge: Architektur, Clustering und Migrationen von RabbitMQ, Kafka und Redis.
Lassen Sie Experten auf Ihre RabbitMQ-Cluster-Umgebung schauen
Ob Sie einen Produktionsvorfall beheben, eine Migration planen oder eine zweite Meinung zu Ihrer Architektur wünschen – unser Team steht bereit. Kein Verkaufsgespräch, nur Antworten.