BlogRabbitMQ

Warum nicht RabbitMQ? Echte Grenzen und Kafka-Mythen

Scott Sternloff

Von Scott Sternloff, Senior Enterprise Architect

LinkedIn · Aktualisiert am · 10 Min. Lesezeit

Warum nicht RabbitMQ? Echte Grenzen und Kafka-Mythen
Auf dieser Seite

Verzichten Sie auf RabbitMQ, wenn Ihr Workload aus Event-Streaming mit hohem Volumen besteht, wenn Consumer historische Daten per Replay erneut lesen müssen oder wenn nachgelagert Stream Processing und Echtzeit-Analysen laufen. Apache Kafka ist für genau diese Aufgaben gebaut; ein universeller Message Broker ist es nicht, und daran ändert auch noch so viel Tuning nichts. Die meisten anderen Einwände, die Sie hören werden – RabbitMQ sei veraltet, langsam oder nicht skalierbar –, sind entweder längst behoben oder beruhen auf einem Missverständnis eines bewusst gewählten Design-Kompromisses.

Beide Hälften dieser Antwort sind wichtig. Es gibt echte Gründe gegen RabbitMQ, und es gibt Mythen, die so lange wiederholt werden, bis Teams eine teure Migration durchführen, die sie gar nicht gebraucht hätten. Die folgende Unterscheidung ist die, die ein Engineer treffen würde, der beide Systeme in Produktion betrieben hat.

Die echten Gründe gegen RabbitMQ

  • Event-Streaming mit sehr hohem Durchsatz. RabbitMQ kommt mit großen Nachrichtenmengen problemlos zurecht, doch jede Nachricht trägt serverseitigen Zustand, den der Broker verfolgen muss: Delivery Tags, Acknowledgements (Acks), Redelivery-Zähler, Index-Einträge. Genau diese Buchführung macht einen universellen Message Broker nützlich – und sie begrenzt zugleich den dauerhaften Durchsatz. Muss ein einzelner Stream Millionen Nachrichten pro Sekunde aufnehmen, gewinnt Kafkas Append-only-Log schon konstruktionsbedingt, weil es Batches bildet, sequenziell schreibt und nahezu den gesamten Consumer-spezifischen Zustand auf den Consumer verlagert.
  • Event-Replay und Log-Retention. Nachrichten werden nach dem Acknowledgement gelöscht, und Queues speichern Nachrichten nur, bis ein Consumer sie bestätigt. Kafka hält Records für eine festgelegte Retention-Dauer vor, unabhängig davon, ob sie jemand konsumiert hat. Ein neuer Service kann also auf Offset null zurückspringen und seine eigene Sicht auf die Historie neu aufbauen. Hängt Ihre Architektur von Replay ab – Neuverarbeitung nach einem Bug, Bootstrapping eines neuen Consumers aus dem vollständigen Event-Log oder Event Sourcing –, ist Kafka die bessere Antwort. Das in 3.9 eingeführte Streams-Feature von RabbitMQ bietet zwar ein Append-only-Log mit Replay und Retention-Dauer, und es ist ein wirklich gutes Feature; das umgebende Ökosystem ist schlicht viel kleiner.
  • Stream Processing. Kafka Streams, ksqlDB und Flink bieten Windowed Joins, Aggregationen und zustandsbehaftete Transformationen über einen Datenstrom als vollwertige Kernfunktion. Auf der Queueing-Seite gibt es nichts Vergleichbares, und so etwas selbst zu bauen, ist ein Aufwand, den sich niemand antun sollte.
  • Analytics und Datenpipelines. Kafka Connect existiert, um Kafka-Topics per Konfiguration statt Code in Warehouses, Lakes und Suchindizes zu überführen. Wer eine Analytics-Plattform über eine Message Queue speist, muss diese Sinks selbst schreiben und betreiben.
  • Druck durch den Versionslebenszyklus. Dieser Punkt ist eher betrieblicher als architektonischer Natur – und ein echter Grund, warum Teams umdenken. Die Release-Reihen von RabbitMQ haben relativ kurze Community-Support-Zeiträume, und jedes Major-Upgrade – der Wechsel zu Quorum Queues, der Khepri Metadata Store, Mindestversionen für Erlang/OTP – ist echte Projektarbeit. Teams, die auf einem End-of-Life-Release festsitzen, planen entweder Budget für dieses Upgrade ein oder sichern sich Extended LTS Support für RabbitMQ, um während der Planung gepatcht zu bleiben. Kein guter Grund ist es dagegen, einen funktionierenden Broker aufzugeben, nur weil ein Upgrade zu lange aufgeschoben wurde.

Kafka vs. RabbitMQ: der architektonische Unterschied

Fast jeder praktische Unterschied zwischen beiden folgt aus einer einzigen Entscheidung: RabbitMQ ist ein Message Broker, der Nachrichten routet und dann vergisst. Kafka ist eine Event-Streaming-Plattform auf Basis eines verteilten Logs, das Daten speichert und erneutes Lesen ermöglicht.

RabbitMQ arbeitet mit Exchanges und Bindings. Producer senden Nachrichten mit einem Routing Key an einen Exchange, und der Exchange entscheidet, welche Queues eine Kopie erhalten – per Direct-, Topic-, Fanout- oder Header-Matching. Diese Indirektion macht komplexes Routing einfach: Eine einzige Veröffentlichung kann per Fan-out an sechs Services gehen, und wer was erhält, ändern Sie über Bindings statt über Code. RabbitMQ implementiert das Advanced Message Queuing Protocol und spricht seit 4.0 nativ AMQP 1.0 neben MQTT und STOMP. Damit ist es ein praxistauglicher Message Bus für die Kommunikation zwischen Anwendungen, die keinen gemeinsamen Stack nutzen.

Kafka hat keine Routing-Schicht. Producer schreiben in eine Partition eines Topics, meist über das Hashing eines Keys gewählt, und die Consumer einer Gruppe besitzen jeweils eine Teilmenge der Partitionen. Kafka unterstützt keine Auswahl pro Nachricht, kein selektives Acknowledgement und keine Priorisierung; Consumer filtern selbst. Im Gegenzug erhalten Sie Ordnung pro Partition, einen horizontal skalierbaren Cluster, den Sie durch zusätzliche Broker erweitern, und eine Retention, die unabhängig vom Konsum ist.

Auch die Zustellung unterscheidet sich. Die Queueing-Seite nutzt ein Push-Modell mit Prefetch-Fenster: Der Broker schiebt Nachrichten an die Consumer, wartet auf ein Ack und kann Nachrichten erneut einreihen, per Dead-Letter aussortieren oder verzögern. Kafka nutzt ein Pull-Modell, bei dem Consumer Batches abrufen und Offsets committen. Push mit Ack pro Nachricht bietet feingranulare Kontrolle über einzelne Arbeitseinheiten. Pull mit Offsets bietet Durchsatz und Replay. Keines von beiden ist ein Mangel.

Ist RabbitMQ veraltet?

Nein. RabbitMQ gehört zu den aktiver weiterentwickelten Brokern seiner Kategorie, und die Behauptung „veraltet“ spiegelt meist den Wissensstand von etwa 2018 wider.

Quorum Queues haben Classic Mirrored Queues durch ein Raft-basiertes Replikationsdesign ersetzt, das sich bei Netzwerk-Splits und Node-Ausfall vorhersehbar verhält; sie sind heute die Standardempfehlung für Hochverfügbarkeit (HA). Streams brachten log-strukturierten Speicher mit Replay. Version 4.0 hat den Metadata Store rund um Khepri neu aufgebaut, um eine zuverlässigere Cluster-Wiederherstellung zu ermöglichen, und lange bestehendes Verhalten entfernt, das im Betrieb für Überraschungen sorgte. Die Entwicklung geht unter Broadcom weiter, und der Release-Rhythmus ist stetig.

Fair ist die Aussage, dass Upgrades nicht umsonst sind und dass ein Cluster, der auf einem alten Release noch mit klassischer Mirrored-Replikation läuft, ein echtes Risiko trägt. Das ist ein Betriebsproblem – kein Beleg dafür, dass die Technologie stagniert.

Ist RabbitMQ langsamer als Kafka?

RabbitMQ ist nicht langsam. Es ist auf etwas anderes optimiert.

Bei der End-to-End-Latenz einer einzelnen Nachricht ist es häufig das schnellere der beiden Systeme: Nachrichten werden im niedrigen einstelligen Millisekundenbereich zugestellt, veröffentlicht und geroutet, ohne auf ein Batching-Fenster zu warten. Beim aggregierten Durchsatz auf einem Topic gewinnt Kafka deutlich, denn sequenzielle Schreibvorgänge, große Batches und null Broker-Zustand pro Nachricht sind genau das, was eine leistungsstarke Streaming-Plattform braucht.

Ein gut dimensionierter RabbitMQ-Server verarbeitet dauerhaft Zehntausende Nachrichten pro Sekunde, ein Cluster skaliert das weiter; Quorum Queues kosten gegenüber dem klassischen Typ Durchsatz, bieten dafür aber Sicherheit. Kafka-Cluster laufen routinemäßig eine Größenordnung höher. Liegt Ihr tatsächlicher Bedarf bei Zehntausenden Nachrichten pro Sekunde mit umfangreichem Fan-out, ist die Durchsatz-Schlagzeile für Sie irrelevant. Geht es um einen Feuerwehrschlauch an Telemetrie, ist sie die einzige Zahl, die zählt.

Die Performance-Grenze, die Sie kennen sollten, ist die Queue-Tiefe. Der Broker ist darauf ausgelegt, Queues zu leeren, nicht Nachrichten anzusammeln. Fallen Consumer zurück und muss der Server Nachrichten millionenfach vorhalten, steigt der Druck auf Speicher und Festplatte, Flow Control greift, und Publisher werden ausgebremst. Kafka behandelt einen großen Rückstau als Normalfall, denn ein Rückstau ist dort nur ein noch nicht erreichter Offset. Jedes System, in dem Consumer regelmäßig stundenlang hinterherhinken, gehört auf ein Log, nicht auf eine Queue.

Wann RabbitMQ die richtige Wahl ist

RabbitMQ passt besser, wenn die Arbeitseinheit eine Aufgabe ist und kein Event:

  • Asynchrone Verarbeitung und Job-Queues – Bildverarbeitung, PDF-Erzeugung, E-Mail-Versand, alles, wobei ein Worker ein Element übernimmt, echte Arbeit leistet und es bestätigt.
  • Komplexes Routing – eine Veröffentlichung, viele selektive Abonnenten, gesteuert über Routing Key oder Header statt über Filterung auf Consumer-Seite.
  • Kontrolle pro Nachricht – Unterstützung für Priority Queues, TTL pro Nachricht, verzögerte Zustellung und Dead-Letter-Exchanges, die Poison Messages isolieren, ohne die Queue zu blockieren.
  • Befehlsverkehr zwischen Microservices – Request/Reply über eine Message Queue mit Reply-to-Adresse und Correlation-ID ist ein gängiger Anwendungsfall, den der Broker sauber abdeckt und Kafka nicht.
  • Protokoll-Bridging – MQTT-Geräte, STOMP-Clients und moderne Anwendungs-Clients greifen alle auf denselben persistenten Message Broker zu.

Das sind die wichtigsten Anwendungsfälle, und sie decken einen großen Teil dessen ab, was eine Microservices-Architektur tatsächlich braucht. Die Enterprise-RabbitMQ-Services von AceMQ gibt es, weil die meisten dieser Workloads aus guten Gründen weiterhin darauf laufen.

Wann Sie ganz auf eine Message Queue verzichten sollten

Manchmal ist die richtige Antwort: keiner der beiden Broker. Nicht jeder Workload braucht ein ereignisgesteuertes Design. Führen Sie kein Messaging-System ein, wenn der Aufrufer eine Antwort benötigt, bevor er weitermachen kann – das ist ein synchroner API-Aufruf, und ihn in eine Queue zu verpacken, bringt zusätzliche Latenz und Fehlerquellen, aber keine Entkopplung. Verzichten Sie darauf, wenn ein einzelner Service die Arbeit von Anfang bis Ende verantwortet, wenn eine Datenbanktabelle oder ein geplanter Job genügen würde und wenn das Gesamtvolumen so gering ist, dass der Betrieb eines geclusterten Brokers mehr Aufmerksamkeit kostet, als das Problem wert ist. Message Queues bringen Entkopplung, Pufferung und Retries. Brauchen Sie keines dieser drei Dinge, zahlen Sie für Infrastruktur, die Sie trotzdem nachts um zwei patchen müssen.

Alternativen zu RabbitMQ

Kafka ist die naheliegende Alternative für Event-Streaming, aber nicht die einzige. Redis Streams eignet sich für Aufgaben mit niedriger Latenz, bei denen der Verlust eines Teils der Historie akzeptabel ist und Sie Redis ohnehin betreiben. ActiveMQ bleibt die pragmatische Wahl für JMS-zentrierte Java-IT-Landschaften. Apache Pulsar vereint Queueing und Streaming mit Tiered Storage und Mandantenfähigkeit, allerdings um den Preis eines komplexeren Betriebsaufwands. NATS ist hervorragend, wenn Sie etwas Kleines und Schnelles suchen. Managed-Cloud-Services – SQS, Service Bus, Pub/Sub – nehmen Ihnen Betriebsaufwand ab und bringen dafür Vendor Lock-in mit sich.

Häufige Fehler bei der Wahl zwischen Kafka und RabbitMQ

Der häufigste Fehler ist, nach Benchmarks statt nach Workload zu entscheiden. Veröffentlichte Durchsatzzahlen beschreiben einen Test, den niemand in Produktion fährt; Ihre Zustellmuster, Nachrichtengrößen und das tatsächliche Verhalten von Producern und Consumern sind weitaus wichtiger.

Der zweite Fehler ist die Annahme, ein einziger Broker müsse alles abdecken. Viele ausgereifte Systeme betreiben beide: RabbitMQ für Befehle und Aufgabenverteilung, Kafka für das Event-Log und Analytics. Das ist ein vernünftiges Systemdesign und keine verpasste Entscheidung.

Der dritte Fehler ist, die Betriebskosten zu unterschätzen. Kafka gut zu betreiben bedeutet Partitionsdimensionierung, Tuning von Consumer Groups und ein Rebalance-Verhalten, über das Sie vorher nicht nachdenken mussten. Wer von einem Broker, den das eigene Team kennt, wegmigriert, um ein Problem zu lösen, das gar nicht besteht, tauscht meist eine vertraute Einschränkung gegen eine unbekannte.

AceMQ betreut RabbitMQ, Kafka, Redis, ActiveMQ, Pulsar und 40 weitere Plattformen für über 160 Enterprise-Kunden in 26 Ländern – mit 11 Senior-Fachexperten und Reaktionszeitzielen ab 15 Minuten, je nach Plan. Als einziger von Broadcom ernannter RabbitMQ-MSP-Partner hätten wir allen Grund, RabbitMQ zu empfehlen, und verweisen Kunden dennoch regelmäßig auf Kafka. Ob Kafka oder RabbitMQ die richtige Wahl ist, hängt vom Workload ab – und diese Einschätzung holen Sie sich am besten von jemandem, der beide betreibt. Bleiben Sie bei RabbitMQ und ist der Betriebsaufwand Ihr Einwand, übernehmen die Managed Services für RabbitMQ von AceMQ die Rufbereitschaft.

Häufig gestellte Fragen

Ist RabbitMQ veraltet?

Nein. RabbitMQ wird weiterhin aktiv entwickelt und hat sich in den letzten Jahren deutlich verändert. Quorum Queues haben die klassischen Mirrored Queues durch ein Raft-basiertes Replikationsmodell ersetzt, das sich bei Node-Ausfällen vorhersehbar verhält. Streams haben einen wiederabspielbaren, logstrukturierten Speicher ergänzt, und Version 4.0 brachte native Unterstützung für AMQP 1.0 sowie den Metadaten-Store Khepri. Der Eindruck, RabbitMQ sei angestaubt, entsteht meist bei Teams, die Releases betreiben, die mehrere Jahre alt sind. Aktuell zu bleiben ist eine Frage der Upgrade-Disziplin, kein Zeichen dafür, dass das Projekt stillsteht.

Ist RabbitMQ langsamer als Kafka?

Das hängt davon ab, was Sie messen. Bei der End-to-End-Latenz einer einzelnen Nachricht ist RabbitMQ oft schneller, weil es sofort zustellt, statt darauf zu warten, dass sich ein Batch füllt. Beim dauerhaften Durchsatz auf einem einzelnen Topic ist Kafka deutlich schneller: Sein Append-only-Log schreibt Batches sequenziell und hält auf dem Broker fast keinen Zustand pro Nachricht. RabbitMQ verarbeitet Zehntausende Nachrichten pro Sekunde und Server, Kafka eine Größenordnung mehr. Keines der beiden Ergebnisse ist ein Mangel, denn die beiden Systeme wurden für unterschiedliche Ziele optimiert.

Warum sollte ich Kafka statt RabbitMQ wählen?

Wählen Sie Kafka, wenn Sie Event Streaming mit sehr hohem Volumen brauchen, Nachrichten aus einem Retention-Fenster erneut abspielen wollen, eine strikte Reihenfolge innerhalb jedes Stream-Shards benötigen oder nachgelagerte Stream-Verarbeitung und Analytics betreiben. Kafka hält Nachrichten für einen konfigurierten Zeitraum vor, unabhängig davon, ob sie konsumiert wurden. Mehrere unabhängige Consumer können so dasselbe Topic in ihrem eigenen Tempo lesen, und neue Consumer können von vorn beginnen. Außerdem gibt es ein ausgereiftes Connector-Ökosystem, um Daten in Data Warehouses und Data Lakes zu bewegen. Trifft nichts davon zu, ist der Betriebsaufwand von Kafka schwer zu rechtfertigen.

Wann ist RabbitMQ die richtige Wahl für mein Projekt?

Wählen Sie RabbitMQ, wenn die Arbeitseinheit eine Aufgabe ist und kein Event: Verarbeitung von Hintergrundjobs, Request/Reply zwischen Services und Workloads, die Acknowledgements pro Nachricht, Prioritäten, verzögerte Zustellung oder Dead-Letter-Handling brauchen. Das Modell aus Exchanges und Bindings macht komplexes Routing zu einer Frage der Konfiguration statt des Codes, sodass ein einziger Publish gezielt an viele Consumer verteilt werden kann. Zudem spricht RabbitMQ mehrere Messaging-Protokolle, was hilft, wenn die Clients nicht denselben Stack nutzen. Für die meisten Aufgaben der Anwendungsintegration ist es die einfachere Option mit geringerer Latenz.

Welche Alternativen zu RabbitMQ gibt es?

Kafka ist die wichtigste Alternative für Event Streaming und Log-Retention. Redis Streams eignet sich gut für Messaging mit niedriger Latenz, wenn keine vollständige Dauerhaftigkeit nötig ist. ActiveMQ passt zu JMS-basierten Java-Umgebungen, Apache Pulsar kombiniert Queueing und Streaming mit Tiered Storage, und NATS ist eine schlanke Option für einfaches, schnelles Messaging. Managed Cloud-Services wie Amazon SQS, Azure Service Bus und Google Pub/Sub nehmen Ihnen Betriebsaufwand ab, dafür binden Sie sich an einen Anbieter. Welche Alternative passt, hängt davon ab, ob Sie ausgefeilte Zustellregeln, Replay oder schlicht weniger Infrastruktur im Betrieb brauchen.

Scott Sternloff

Autor

Scott SternloffSenior Enterprise Architect

Senior Enterprise Architect bei AceMQ. Verantwortet hier die technischen Beiträge: Architektur, Clustering und Migrationen von RabbitMQ, Kafka und Redis.

Leitfäden, Vergleiche und Studien

Mehr zum Thema RabbitMQ

Kostenlose Beratung

Lassen Sie Experten auf Ihre RabbitMQ-Cluster-Umgebung schauen

Ob Sie einen Produktionsvorfall beheben, eine Migration planen oder eine zweite Meinung zu Ihrer Architektur wünschen – unser Team steht bereit. Kein Verkaufsgespräch, nur Antworten.

E-Mail schreiben