BlogRedis

Redis als Message Queue: Kann Redis einen echten Broker ersetzen?

Scott Sternloff

Von Scott Sternloff, Senior Enterprise Architect

LinkedIn · Aktualisiert am · 12 Min. Lesezeit

Redis als Message Queue: Kann Redis einen echten Broker ersetzen?
Auf dieser Seite

Ja. Eine Message Queue auf Basis von Redis ist eine ernsthafte Option, und es gibt drei Wege, sie umzusetzen: Lists für die einfache Verteilung von Arbeit, Pub/Sub für Fire-and-Forget-Broadcasts, die nichts speichern, und Streams für Consumer Groups mit Bestätigungen und At-least-once-Zustellung. Nur Streams verhält sich wie ein echter Broker. In jedem Fall verzichten Sie auf Routing, TTL pro Nachricht, Prioritäten und Dead-Lettering – Funktionen, die Sie am Ende selbst schreiben.

Die Frage ist selten, ob Redis das kann. Es kann. Die Frage ist, was beim ersten Ausfall passiert.

Lists vs. Pub/Sub vs. Streams

ListsPub/SubStreams
MusterWork QueueBroadcastLog mit Consumer Groups
Im Keyspace gespeichertJaNeinJa
ZustellgarantieStandardmäßig at-most-onceAt-most-onceAt-least-once mit Gruppen
Bestätigungen (Acks)Nicht eingebautKeineXACK, mit Pending-Liste
Consumer GroupsNeinNeinJa
Historie erneut abspielenNein – entnommen heißt wegNeinJa, per ID-Bereich
Mehrere unabhängige LeserNeinJa, jeder erhält eine KopieJa, pro Gruppe
Typischer EinsatzHintergrundjobsCache-Invalidierung, BenachrichtigungenEvent-Verarbeitung mit Anspruch auf Dauerhaftigkeit

Wenn Sie aus diesem Artikel nur eines mitnehmen: Pub/Sub verliert Nachrichten konstruktionsbedingt, und das ist kein Bug. Die Redis-Dokumentation sagt das unmissverständlich.

Taugen Redis Lists als Message Queue?

Ja – und das ist das älteste Queue-Muster in Redis, für viele Hintergrundjobs nach wie vor die richtige Antwort.

Ein Producer schreibt mit LPUSH. Ein Worker blockiert auf BRPOP und wartet auf ein Element, statt zu pollen. Mehrere Worker auf demselben Key konkurrieren, und jedes Element geht an genau einen von ihnen. Das ist eine Work Queue mit zwei Befehlen, auf Infrastruktur, die Sie ohnehin betreiben.

LPUSH jobs:email '{"to":"user@example.com","template":"welcome"}'
BRPOP jobs:email 0

Die Schwachstelle liegt auf der Hand. BRPOP entfernt das Element und übergibt es dem Worker. Stirbt dieser Worker mitten in der Verarbeitung, ist das Element weg – niemand weiß, dass es in Bearbeitung war, und niemand stellt es erneut zu.

Abhilfe schafft das Reliable-Queue-Muster: Statt das Element zu entnehmen, verschieben Sie es mit BLMOVE (oder dem älteren BRPOPLPUSH) atomar in eine Verarbeitungsliste pro Worker und löschen es dort, sobald die Arbeit erledigt ist. Elemente, die in einer Verarbeitungsliste zurückbleiben, lassen sich wiederherstellen.

Das funktioniert, und zahlreiche Produktivsysteme laufen damit. Aber sehen Sie genau hin, was Sie gebaut haben: einen Bestätigungsmechanismus, einen Aufräumprozess, der verwaiste Verarbeitungslisten erkennt, und eine Retry-Policy. Das sind Broker-Funktionen – jetzt in Ihrer Anwendung, gepflegt von Ihrem Team und nur so gut getestet, wie Sie sie testen.

Garantiert Redis Pub/Sub die Zustellung?

Nein – und ausgerechnet dieser Mechanismus wird am häufigsten für eine Redis-Message-Queue gehalten, obwohl er sich am wenigsten dafür eignet.

SUBSCRIBE registriert das Interesse an einem Channel, PUBLISH sendet an alle, die gerade abonniert haben. Die Redis-Dokumentation lässt keinen Zweifel daran, was das bedeutet:

Redis Pub/Sub folgt der Zustellsemantik at-most-once. Wie der Name sagt, wird eine Nachricht höchstens einmal zugestellt – wenn überhaupt. Sobald der Redis-Server die Nachricht gesendet hat, wird sie nicht noch einmal gesendet. Kann der Subscriber die Nachricht nicht verarbeiten (etwa wegen eines Fehlers oder einer Netzwerktrennung), ist die Nachricht für immer verloren.

Es wird nichts gespeichert. Ein Subscriber, der gerade neu startet, deployt wird, kurzzeitig durch eine Netzwerkpartition abgeschnitten oder schlicht zu langsam ist, verpasst alles, was in diesem Zeitfenster veröffentlicht wird – endgültig und ohne jedes Signal, dass es passiert ist.

Damit ist Pub/Sub hervorragend für eine eng umrissene Gruppe von Aufgaben: Cache-Invalidierung, Live-Updates in Dashboards, Präsenzmeldungen – alles, bei dem die nächste Nachricht die verpasste bedeutungslos macht. Für Auftragsverarbeitung, Zahlungen oder alles, worüber Sie später Rechenschaft ablegen müssen, ist es die falsche Wahl.

Zwei nützliche Details: Pub/Sub ist vom Keyspace unabhängig, eine auf Datenbank 10 veröffentlichte Nachricht erreicht also auch einen Subscriber auf Datenbank 1. Versehen Sie Ihre Channels mit einem Präfix, wenn Sie nach Umgebungen trennen müssen. Und in Cluster-Deployments beschränkt Sharded Pub/Sub (SSUBSCRIBE, SPUBLISH) Nachrichten auf einen einzelnen Shard, statt sie über den Cluster-Bus zu verteilen – so skalieren Sie horizontal.

Machen Redis Streams aus Redis eine echte Message Queue?

Näher kommt Redis nicht heran. Mit Streams hört Redis auf, eine Datenstruktur zu sein, die man zur Queue zweckentfremdet, und wird zu etwas, auf dem man eine Verarbeitungspipeline vernünftig betreiben kann.

XADD hängt einen Eintrag an und gibt eine zeitlich geordnete ID im Format <milliseconds>-<sequence> zurück. Einträge bleiben im Keyspace gespeichert. XREAD kann auf neue Einträge blockierend warten. Mit XRANGE können Consumer historische Bereiche lesen.

Das eigentliche Feature sind Consumer Groups:

XGROUP CREATE events mygroup $
XREADGROUP GROUP mygroup consumer1 STREAMS events >
XACK events mygroup 1692632086370-0

Innerhalb einer Gruppe geht jeder Eintrag an genau einen Consumer, und mehrere Gruppen können denselben Stream unabhängig voneinander konsumieren. Ein zugestellter Eintrag verbleibt in der Pending Entries List der Gruppe, bis er mit XACK bestätigt wird. Den Rückstand prüfen Sie mit XPENDING. Fällt ein Consumer mit offenen Einträgen aus, kann ein anderer sie mit XCLAIM oder XAUTOCLAIM übernehmen und die Arbeit abschließen.

Diese Kombination ergibt At-least-once-Zustellung: Fällt ein Consumer aus, geht nichts verloren, aber ein Eintrag, der kurz vor einem Absturz verarbeitet wurde, kann erneut zugestellt werden. Ihre Consumer müssen also idempotent sein. Diese Anforderung stellt jeder At-least-once-Broker – das ist keine Schwäche von Redis, nur eine, die man gern vergisst, bis doppelte Abbuchungen auftauchen.

Streams wachsen unbegrenzt, wenn Sie sie nicht deckeln. XADD akzeptiert MAXLEN, XTRIM kürzt nachträglich; die Form mit ~ kürzt näherungsweise und ist deutlich günstiger als exaktes Trimmen. MINID kürzt nach Eintrags-ID statt nach Anzahl und eignet sich damit für zeitbasierte Aufbewahrung. Legen Sie sich schon beim Design fest. Ein unbegrenzter Stream in einem In-Memory-Speicher ist ein Speichererschöpfungs-Incident mit Zeitzünder.

Worauf verzichten Sie im Vergleich zu einem echten Broker?

Redis Streams schließt die Lücke bei den Zustellgarantien. Die übrigen Lücken schließt es nicht.

  • Routing. RabbitMQ setzt einen Exchange zwischen Publisher und Queues. Direct-, Topic-, Fanout- und Headers-Exchanges entscheiden anhand von Routing Keys und Attributen per Konfiguration, wo eine Nachricht landet. Redis hat nichts Vergleichbares – ein Publisher schreibt in einen benannten Key. Jedes inhaltsbasierte Routing ist Code, den Sie schreiben, und damit eine zweite Stelle, die Sie mit Ihrer Topologie synchron halten müssen.
  • TTL pro Nachricht. RabbitMQ unterstützt TTL pro Nachricht über die Property expiration sowie pro Queue und verwendet den niedrigeren Wert, wenn beide gesetzt sind. Die Dokumentation benennt sogar ehrlich den Haken: „Erst wenn abgelaufene Nachrichten den Kopf einer Queue erreichen, werden sie tatsächlich verworfen.“ TTLs in Redis gelten für ganze Keys, nicht für einzelne Listenelemente oder Stream-Einträge. Eine Nachricht ablaufen zu lassen, ihre Nachbarn aber nicht, kann Redis nicht.
  • Prioritäten. RabbitMQ unterstützt Priority Queues. Redis kennt keine Prioritäten für Listenelemente oder Stream-Einträge. Sie zu simulieren bedeutet mehrere Keys und Worker, die diese der Reihe nach abfragen – und damit kehren Starvation-Probleme zurück, die Broker längst gelöst haben.
  • Dead-Lettering. RabbitMQ leitet Nachrichten automatisch in eine Dead-Letter-Queue, wenn sie abgelehnt werden, ihre TTL abläuft, das Längenlimit einer Queue erreicht oder das Delivery Limit einer Quorum Queue überschritten wird. Redis Streams liefert das Rohmaterial – XPENDING zeigt, was festhängt, und Zustellzähler werden mitgeführt –, aber Poison Messages in einen Quarantäne-Stream zu leiten, Retries zu begrenzen und darauf zu alarmieren, ist komplett Ihr Code.
  • Zustellzählung und Retry-Policy. Verwandt, aber einen eigenen Punkt wert: Ein Broker bietet Ihnen ein Delivery Limit als Einstellung. In Redis lesen Sie den Zähler aus und entscheiden, was damit geschieht – überall, konsistent und für immer.

Nichts davon macht Redis zur falschen Wahl. Es macht die Wahl zu einem Tauschgeschäft: Sie übernehmen die Verantwortung für Funktionen, die es anderswo gratis gibt, und betreiben dafür kein weiteres System.

Welche Einschränkungen gibt es bei der Persistenz?

Redis ist ein In-Memory-Speicher, der auf die Festplatte schreibt. Wie viel Sie bei einem Absturz verlieren, ist eine Konfigurationsentscheidung – und es lohnt sich, die Zahlen zu kennen, die Redis selbst veröffentlicht.

  • RDB erstellt an konfigurierten Save-Punkten Snapshots als Momentaufnahme. Die Redis-Dokumentation benennt das Risiko direkt: „In der Regel erstellen Sie alle fünf Minuten oder seltener einen RDB-Snapshot. Falls Redis aus irgendeinem Grund ohne ordnungsgemäßen Shutdown stoppt, sollten Sie also darauf vorbereitet sein, die Daten der letzten Minuten zu verlieren.“ Für Snapshots wird zudem der Prozess geforkt, und bei einem großen Datenbestand kann dieser Fork den Server kurzzeitig blockieren – ein realer betrieblicher Effekt, den wir zusammen mit den anderen Ausfallmustern in unserem Beitrag zu Redis High Availability behandeln.
  • AOF protokolliert jeden Schreibbefehl, mit drei fsync-Policies. appendfsync always ist am sichersten und am langsamsten. appendfsync everysec ist der empfohlene Standard, und laut Redis „können im Katastrophenfall Daten von 1 Sekunde verloren gehen“. appendfsync no überlässt es dem Kernel.

Redis empfiehlt, beides zu kombinieren, wenn Sie eine Dauerhaftigkeit wie bei einer relationalen Datenbank wollen. Für Queueing hat das zwei Konsequenzen:

  1. Eine Nachricht, deren Empfang dem Producer bestätigt wurde, liegt nicht zwingend auf der Festplatte. Mit everysec existiert zu jedem Zeitpunkt bis zu eine Sekunde an angenommener, aber noch nicht geschriebener Arbeit.
  2. Die Replikation erfolgt asynchron. Fällt der Primary aus, können Schreibvorgänge verloren gehen, die bestätigt, aber noch nicht repliziert waren – derselbe Kompromiss zugunsten der Geschwindigkeit, den Redis überall eingeht.

Lautet Ihre Anforderung „Diese Nachricht darf nicht verloren gehen“, lässt sich Redis nahe daran konfigurieren – allerdings bezahlen Sie dafür mit Latenz, und Sie sollten die Konfiguration verifizieren, statt sie vorauszusetzen.

Wann ist Redis wirklich die richtige Wahl?

Setzen Sie Redis für Queueing ein, wenn:

  • Redis bereits Teil Ihrer Architektur ist und ein zusätzlicher Broker eine zusätzliche betriebliche Verpflichtung bedeutet
  • die Topologie einfach ist – Producer zu einem einzigen Worker-Pool, kein inhaltsbasiertes Routing
  • Latenz wichtiger ist als Zustellgarantien und das erneute Ausführen eines verlorenen Jobs akzeptabel ist
  • das Volumen hoch ist und Nachrichten kurzlebig sind – genau dafür ist ein In-Memory-Speicher gebaut
  • Ihr Team bereit ist, Logik für Bestätigungen, Retries und Dead-Lettering im Anwendungscode zu verantworten

Setzen Sie RabbitMQ ein, wenn:

  • das Routing nicht trivial ist und Sie es lieber konfigurieren als programmieren
  • Sie TTL pro Nachricht, Prioritäten oder Dead-Lettering als Broker-Funktionen brauchen
  • Zustellgarantien in einem Compliance-Dokument oder einem Kundenvertrag stehen
  • verschiedene Consumer unterschiedliche Teilmengen der Nachrichten desselben Publishers benötigen
  • Sie betriebliche Werkzeuge – Management-UI, Metriken pro Queue, Policies – wollen, ohne sie selbst zu bauen

Das schließt sich nicht gegenseitig aus, und in der Praxis nutzen die stärksten Architekturen beides: Redis für Caching, Rate Limiting, flüchtigen Zustand und schnelles Fan-out innerhalb des Prozesses, RabbitMQ für Nachrichten mit Garantien. Diese Aufteilung beschreiben wir in Redis und RabbitMQ gemeinsam betreiben.

Zwei weitere Vergleiche sollten Sie im Blick haben. Handelt es sich um ein Append-only-Event-Log, das viele unabhängige Consumer in ihrem eigenen Tempo erneut abspielen, passen weder Redis Streams noch RabbitMQ – siehe RabbitMQ Streams vs. Apache Kafka. Und wenn Sie für garantierte Zustellung einen Open-Source-Broker gegen einen kommerziellen abwägen, behandelt IBM MQ vs. RabbitMQ genau dieses Thema.

Das Fehlermuster, das wir am häufigsten sehen, ist nicht die Entscheidung für Redis. Es ist die Entscheidung für Redis Pub/Sub bei Aufgaben, die Streams gebraucht hätten – oder für Lists, gefolgt von der Erkenntnis, dass sich über drei Jahre Bestätigungslogik angesammelt hat, die niemand mehr anfassen will. Wählen Sie den Mechanismus, der zu der Garantie passt, die Sie tatsächlich brauchen, und dokumentieren Sie, welchen Sie gewählt haben.

Sprechen Sie mit AceMQ über Redis und RabbitMQ

Sie sind nicht sicher, ob Redis mehr Queueing-Verantwortung trägt, als es sollte? AceMQ arbeitet auf beiden Seiten – Redis-Support und -Beratung sowie RabbitMQ-Beratung. Sprechen Sie mit einem AceMQ-Engineer.

FAQ

Kann man Redis als Message Queue verwenden?

Ja. Redis bietet drei Mechanismen: Lists für einfache Work Queues, Pub/Sub für Broadcasts nach dem Fire-and-Forget-Prinzip und Streams für Consumer Groups mit At-least-once-Zustellung. Streams verhält sich am ehesten wie ein Broker. Ob das reicht, hängt davon ab, was Sie über die reine Zustellung hinaus benötigen.

Ist Redis ein Message Broker?

Nicht in dem Sinne, wie RabbitMQ einer ist. Redis stellt Datenstrukturen bereit, auf denen Sie Queueing aufbauen können. Es gibt kein Exchange-basiertes Routing, keine TTL pro Nachricht für eingereihte Jobs, keine Priority Queues und keinen eingebauten Dead-Letter-Mechanismus. Das sind Broker-Funktionen – in Redis werden sie zu Anwendungscode.

Was ist der Unterschied zwischen Redis Pub/Sub und Redis Streams?

Pub/Sub arbeitet nach dem At-most-once-Prinzip und speichert nichts. Laut der Redis-Dokumentation selbst gilt: Kann ein Subscriber eine Nachricht nicht verarbeiten, ist „die Nachricht für immer verloren“. Streams speichern Einträge im Keyspace, unterstützen Consumer Groups mit Bestätigungen und liefern At-least-once-Zustellung. Wenn der Verlust einer Nachricht ins Gewicht fällt, entscheidet allein dieser Unterschied.

Speichert Redis Pub/Sub Nachrichten dauerhaft?

Nein. Veröffentlichte Nachrichten gehen an alle, die in diesem Moment abonniert haben, und sind danach weg. Ein Subscriber, der getrennt ist, gerade neu startet oder kurzzeitig überlastet ist, verpasst alles, was in diesem Zeitfenster veröffentlicht wurde – ohne jede Möglichkeit, es wiederherzustellen.

Wie funktionieren Consumer Groups in Redis Streams?

Sie legen eine Gruppe mit XGROUP CREATE an; anschließend liest jeder Consumer mit XREADGROUP und der speziellen ID > neue Einträge. Zugestellte, aber noch nicht bestätigte Einträge verbleiben bis zum XACK in der Pending Entries List. Fällt ein Consumer aus, kann ein anderer dessen offene Einträge mit XCLAIM oder XAUTOCLAIM übernehmen. Genau das macht At-least-once möglich.

Kann Redis Nachrichten verlieren?

Ja – wie viele, hängt von der Persistenzkonfiguration ab. RDB-Snapshots sind Momentaufnahmen; die Redis-Dokumentation warnt daher, dass Sie nach einem unsauberen Stopp mit dem Verlust der letzten Minuten an Daten rechnen müssen. Mit AOF und der Standardeinstellung appendfsync everysec können laut Redis bis zu eine Sekunde an Daten verloren gehen. Pub/Sub-Nachrichten werden überhaupt nicht gespeichert.

Ist Redis schneller als RabbitMQ?

Bei reinen In-Memory-Operationen in der Regel ja – genau dafür ist ein In-Memory-Datenspeicher gemacht. Der Vergleich führt aber in die Irre, denn meist vergleicht man einen unbestätigten Push in den Arbeitsspeicher mit einer persistenten, gerouteten und bestätigten Zustellung. Sobald Sie Persistenz und Bestätigungen ergänzen, um beides vergleichbar zu machen, schrumpft der Abstand erheblich.

Wann sollte ich Redis statt RabbitMQ für Queueing einsetzen?

Wenn es um einfaches Fan-out an Worker geht, Redis ohnehin in Ihrem Stack läuft, das Routing von einem Producer zu einem einzigen Pool von Consumern führt und ein bei einem Ausfall verlorener Job sich durch erneutes Ausführen nachholen lässt. Greifen Sie zu RabbitMQ, wenn Sie Routing-Regeln, TTL pro Nachricht, Prioritäten, Dead-Lettering oder Zustellgarantien brauchen, die Sie in einem Compliance-Dokument festschreiben können.

Quellen

Scott Sternloff

Autor

Scott SternloffSenior Enterprise Architect

Senior Enterprise Architect bei AceMQ. Verantwortet hier die technischen Beiträge: Architektur, Clustering und Migrationen von RabbitMQ, Kafka und Redis.

Mit einem Engineer sprechen

Brauchen Sie Unterstützung bei Redis?

Senior Engineers, die es selbst in Produktion betreiben. Fordern Sie ein Angebot oder ein kostenloses Erstgespräch an – ganz ohne Verkaufsgespräch.

Kostenlose Beratung

Lassen Sie Experten auf Ihre Redis-Installation schauen

Ob Sie einen Produktionsvorfall beheben, eine Migration planen oder eine zweite Meinung zu Ihrer Architektur wünschen – unser Team steht bereit. Kein Verkaufsgespräch, nur Antworten.

E-Mail schreiben