Leitfaden · RabbitMQ

Der Leitfaden zu RabbitMQ Streams

Streams sind der dritte Queue-Typ in RabbitMQ – und der, der am häufigsten aus dem falschen Grund gewählt wird. Dieser Leitfaden behandelt sie in der Reihenfolge, in der sie Ihnen in der Produktion begegnen: was sie sind, wann sie passen, wie Retention und Offsets funktionieren, wie man sie betreibt und was sie nicht garantieren. Jedes beschriebene Verhalten stammt aus der Dokumentation zu RabbitMQ 4.3, geprüft am 20. September 2026.

Tyler Eastridge

Von Tyler Eastridge, Head of Operations

LinkedIn · Aktualisiert am · 7 Min. Lesezeit · 9 Abschnitte

Auf dieser Seite

Streams in einem Absatz

Streams in einem Absatz

Ein Stream ist ein replizierter Append-only-Log, den Consumer lesen, ohne Nachrichten zu entfernen. Setzen Sie ihn für Fan-out, Replay, hohen Durchsatz und große Rückstände ein; nehmen Sie eine Quorum Queue, wenn Sie Dead-Lettering, TTL, Prioritäten oder Dauerhaftigkeit auf fsync-Niveau brauchen. Deklarieren Sie ihn mit x-queue-type auf stream, setzen Sie max-age oder max-length-bytes vom ersten Tag an, geben Sie jedem Consumer einen Prefetch und einen Offset, betreiben Sie ihn auf einer ungeraden Anzahl von Nodes, verwalten Sie die Replicas selbst – und denken Sie daran, dass ein Confirm „repliziert“ bedeutet, nicht „auf die Disk geschrieben“.

Was ein RabbitMQ Stream ist

Ein Stream ist ein persistenter, replizierter Append-only-Log, der in RabbitMQ neben Classic und Quorum Queues existiert. Der Unterschied liegt darin, wie Nachrichten ihn verlassen: gar nicht. Das Konsumieren aus einer Queue entfernt die Nachricht; das Konsumieren aus einem Stream verschiebt nur die Position dieses Consumers. Beliebig viele Consumer können also dieselben Nachrichten beliebig oft lesen, bis die Retention sie verfallen lässt. Die RabbitMQ-Dokumentation nennt das eine nicht-destruktive Consumer-Semantik. Streams sind immer durable und immer repliziert; eine transiente Variante gibt es nicht.

Wann ein Stream der richtige Typ ist – und wann nicht

Streams wurden für vier Fälle gebaut, die die Queue-Typen schlecht abdecken: großes Fan-out (viele Consumer lesen dieselben Nachrichten, ohne dass jeder eine eigene Queue braucht), Replay (an beliebiger Stelle im Log einsteigen und von dort lesen), Durchsatz (Designziel war, mit logbasierten Systemen mitzuhalten) und große Rückstände (Queues sind darauf optimiert, leer zu laufen; Streams speichern Millionen von Nachrichten bei minimalem Speicherbedarf).

Der falsche Typ sind sie, wenn Sie Queue-Funktionen brauchen. Streams unterstützen keine Dead Letter Exchanges, keine Message TTL, keine Längenlimits für Queues, keine Nachrichten- oder Consumer-Prioritäten, keine Exklusivität und keine nicht-durable Deklaration. Die Dokumentation stellt klar, dass vieles davon wegen des nicht-destruktiven Lesemodells nie unterstützt werden wird. Geht es beim Workload um Arbeitsverteilung mit Retries und Dead-Lettering, ist das ein Fall für eine Quorum Queue.

RabbitMQ Stream und Queue im direkten Vergleich:

Queue (Quorum oder Classic)Stream
Wie Nachrichten gelesen werdenDestruktiv: Eine bestätigte Nachricht wird entferntNicht-destruktiv: Consumer lesen ab einem Offset, die Nachricht bleibt erhalten
Viele Consumer, dieselben DatenEine Queue pro Consumer, jede mit eigener KopieEin Stream, beliebig viele Consumer
ReplayNeinJa, ab jedem Offset, der noch innerhalb der Retention liegt
Wie lange Nachrichten bleibenBis sie konsumiert werden oder TTL bzw. ein Längenlimit sie entferntBis max-age oder max-length-bytes sie verfallen lässt
Dead-Lettering, Message TTL, PrioritätenBei Quorum Queues unterstütztNicht unterstützt
Große RückständeDarauf ausgelegt, leer zu laufenDarauf ausgelegt, Millionen von Nachrichten zu halten

Einen Stream deklarieren und die Retention festlegen

Deklarieren Sie eine Queue mit dem Argument x-queue-type auf stream. Der Typ muss vom Client bei der Deklaration angegeben werden; per Policy lässt er sich weder setzen noch ändern. Ein Stream ist weiterhin eine AMQP-0.9.1-Queue und lässt sich daher wie eine solche an jeden Exchange binden.

Legen Sie die Retention vom ersten Tag an fest, denn ein Append-only-Log wächst, bis die Disk voll ist. Es gibt zwei Einstellungen, die sich kombinieren und per Policy ändern lassen: max-age (Einheiten Y, M, D, h, m, s – 7D ist also eine Woche) und max-length-bytes. Die Retention wird pro Segmentdatei ausgewertet, und die Standardgröße eines Segments beträgt 500 MB. Ein Stream behält also immer mindestens ein Segment und liegt um bis zu ein Segment über dem konfigurierten Limit. Dimensionieren Sie die Disk für das Limit plus ein Segment pro Stream, nicht nur für das Limit.

Konsumieren: Offsets, Prefetch und Acknowledgements

Ein Consumer wählt über das Argument x-stream-offset, wo er beginnt: first, last (der zuletzt geschriebene Chunk), next (der Standard: nur neue Nachrichten), ein numerischer Offset, ein Zeitstempel oder ein Intervall wie 1h. Zeitstempel werden auf Chunk-Grenzen aufgelöst; ein Consumer kann daher Nachrichten erhalten, die etwas vor dem angefragten Zeitpunkt veröffentlicht wurden.

Zwei Regeln erwischen Teams, die von Queues kommen. Consumer müssen einen QoS-Prefetch setzen, und Acknowledgements sind Pflicht: Bei einem Stream wirkt das Ack als Credit, der den Offset des Consumers voranschiebt. Außerdem wird globaler QoS nicht unterstützt; wer auf einem Channel mit globalem Prefetch aus einem Stream konsumiert, erhält einen Channel-Fehler. Verwenden Sie Prefetch pro Consumer.

Reaktionszeitziele ab 15 Minuten, je nach Plan. Namentlich zugeordnete Senior Engineers.

Kontakt

AMQP 0.9.1 oder das Stream-Protokoll

Jeder AMQP-0.9.1-Client, der Queue- und Consumer-Argumente übergeben kann, kann einen Stream nutzen. Das RabbitMQ-Team empfiehlt dennoch das dedizierte binäre Stream-Protokoll und seine Clients, und zwar aus zwei Gründen: Es liefert den besten Durchsatz, und manche Funktionen gibt es nur dort. Eine davon ist das brokerseitige Offset-Tracking: Es ist nur über das Stream-Plugin verfügbar, und die Offsets werden im Stream selbst als Nicht-Nachrichtendaten gespeichert. Eine andere ist die Deduplizierung auf Publisher-Seite: Ein benannter Producer mit streng monoton steigender Publishing-ID ermöglicht es dem Broker, nach einem Absturz erneut gesendete Nachrichten herauszufiltern – vorausgesetzt, zu jedem Zeitpunkt nutzt nur eine Producer-Instanz diesen Namen.

Ein Nebeneffekt, den Sie kennen sollten: Nachrichten werden als AMQP-1.0-Daten gespeichert. AMQP-0.9.1-Header mit komplexen Werten wie Arrays oder Tables werden daher nicht konvertiert.

Super Streams und Single Active Consumer

Ein Super Stream ist ein logischer Stream, der auf mehrere reguläre Streams partitioniert ist und so Speicher und Traffic über die Cluster-Nodes verteilt. Client-Bibliotheken stellen ihn als einen einzigen Stream dar. Kombiniert mit Single Active Consumer – nur eine Instanz in einer benannten Gruppe empfängt Nachrichten, und eine andere übernimmt, wenn sie ausfällt – erhalten Sie eine geordnete Verarbeitung pro Partition mit Failover. Beides kam mit RabbitMQ 3.11. Die CLI legt die Topologie mit einer einzigen Zeile an: rabbitmq-streams add_super_stream invoices --partitions 3.

Die Dokumentation selbst rät zur Zurückhaltung: Super Streams erhöhen die Komplexität und sollten erst eingesetzt werden, wenn ein einzelner Stream an seine Grenzen gestoßen ist.

Streams betreiben: Replicas, Quorum und Speicher

Streams sind Quorum-Systeme, verwenden Sie also ungerade Cluster-Größen: Drei Nodes verkraften einen Ausfall, fünf verkraften zwei, und ein Cluster mit zwei Nodes verkraftet keinen. Die Zugehörigkeit der Replicas verwaltet der Betreiber. Ein neu zum Cluster hinzugefügter Node hostet keine Stream-Replicas, bis Sie rabbitmq-streams add_replica ausführen, und ein Node, der stillgelegt wird, muss mit delete_replica aus jedem Stream entfernt werden, den er hostet. Die Replikation prüfen Sie mit rabbitmq-streams stream_status. Beim Austausch eines Nodes fügen Sie zuerst den neuen hinzu, warten, bis er synchron ist, und entfernen dann den alten; solange ein Replica nicht synchron ist, lässt sich kein weiteres hinzufügen.

Streams brauchen im Broker wenig RAM, stützen sich aber stark auf den Page Cache des Kernels. In Containern zählt dieser Page Cache zum Speicherlimit – genau so wird bei einem gesunden Stream-Workload ein Pod per OOM-Kill beendet. Zudem reagieren Streams nicht auf Memory Alarms. Verwenden Sie die schnellsten verfügbaren Disks; der Durchsatz sinkt mit steigender Nachrichtengröße und Anzahl der Replicas.

Datensicherheit: was ein Publisher Confirm bei einem Stream bedeutet

Ein Confirm bei einem Stream bedeutet, dass die Nachricht auf ein Quorum der Replicas repliziert wurde. Es bedeutet nicht, dass sie auf die Disk geschrieben wurde: Streams schreiben auf die Disk, führen aber kein fsync aus, sondern überlassen das dem Betriebssystem. Ein unkontrolliertes Herunterfahren kann daher auf diesem Node jüngste Daten kosten, die normalerweise von den anderen Nodes erneut repliziert werden. Die Dokumentation formuliert es direkt: Wenn Sie stärkere Garantien brauchen, verwenden Sie Quorum Queues, die erst bestätigen, nachdem ein Quorum die Nachricht geschrieben und per fsync auf die Disk gebracht hat. Nachrichten, die ohne Confirms veröffentlicht werden, haben überhaupt keine Garantie.

Wo Sie sie nicht betreiben können

Prüfen Sie die Plattform vor dem Design. Amazon MQ for RabbitMQ unterstützt keine Streams, und die Dokumentation warnt ausdrücklich, dass das Anlegen eines Streams zu Datenverlust führt. Für Streams brauchen Sie selbst betriebenes RabbitMQ, einen spezialisierten Hoster oder Broker in Ihrem eigenen Account, die für Sie betrieben werden.

Häufig gestellte Fragen

Was ist der Unterschied zwischen einem RabbitMQ Stream und einer Queue?

Eine Queue entfernt eine Nachricht, sobald ein Consumer sie bestätigt; jede Nachricht wird also einmal verarbeitet, und die Queue läuft leer. Ein Stream behält Nachrichten, bis die Retention sie verfallen lässt, und Consumer lesen ab einem Offset – viele Consumer können also dieselben Nachrichten lesen und erneut abspielen. Queues bieten Dead-Lettering, TTL und Prioritäten; Streams nicht.

Was ist ein RabbitMQ Stream?

Ein persistenter, replizierter Append-only-Log innerhalb von RabbitMQ. Consumer lesen ihn, ohne Nachrichten zu entfernen. Viele Consumer können also dieselben Daten lesen und sie ab jedem Offset erneut lesen, bis die Retention sie verfallen lässt. Sie deklarieren ihn, indem Sie x-queue-type auf stream setzen.

Wann sollte ich einen Stream statt einer Quorum Queue verwenden?

Verwenden Sie einen Stream für großes Fan-out, Replay, sehr hohen Durchsatz oder große Rückstände. Verwenden Sie eine Quorum Queue für Arbeitsverteilung, die Dead-Lettering, TTL, Prioritäten oder die stärkste Dauerhaftigkeit braucht – denn Quorum Queues bestätigen erst, nachdem ein Quorum auf die Disk geschrieben hat, und Streams führen kein fsync aus.

Wie verhindere ich, dass ein RabbitMQ Stream die Disk volllaufen lässt?

Legen Sie die Retention mit max-age, max-length-bytes oder beidem fest, per Queue-Argument oder Policy. Die Retention wird pro Segment angewendet, und das Standardsegment ist 500 MB groß. Planen Sie also pro Stream mindestens ein zusätzliches Segment als Reserve ein.

Unterstützen RabbitMQ Streams Dead Letter Exchanges oder TTL?

Nein. Streams unterstützen keine Dead Letter Exchanges, keine Message TTL, keine Längenlimits für Queues, keine Prioritäten und keine exklusive oder nicht-durable Deklaration. An die Stelle von TTL und Längenlimits treten die Retention-Einstellungen.

Unterstützt Amazon MQ RabbitMQ Streams?

Nein. Laut Developer Guide von Amazon MQ werden Streams nicht unterstützt, und das Anlegen eines Streams führt zu Datenverlust.

Kostenlose Beratung

Lassen Sie Experten auf Ihre RabbitMQ-Cluster-Umgebung schauen

Ob Sie einen Produktionsvorfall beheben, eine Migration planen oder eine zweite Meinung zu Ihrer Architektur wünschen – unser Team steht bereit. Kein Verkaufsgespräch, nur Antworten.

E-Mail schreiben