BlogRabbitMQ

RabbitMQ Prefetch Count: Warum ein gut konfigurierter Prefetch für Echtzeit-Cluster mit hohem Durchsatz entscheidend ist

Scott Sternloff

Von Scott Sternloff, Senior Enterprise Architect

LinkedIn · Aktualisiert am · 16 Min. Lesezeit

RabbitMQ Prefetch Count: Warum ein gut konfigurierter Prefetch für Echtzeit-Cluster mit hohem Durchsatz entscheidend ist
Auf dieser Seite

Von allen Tuning-Parametern, die die Consumer-Performance in RabbitMQ bestimmen, bewirkt der Prefetch Count am meisten – und er ist in Produktion am häufigsten falsch konfiguriert. Wir haben unzählige RabbitMQ-Projekte in Unternehmen übernommen, in denen der Durchsatz gedeckelt war, die Consumer-Auslastung bei 60 % festhing, der Speicher auf Consumer-Pods in die Höhe schoss oder der Cluster bei Lasten in die Flow Control ging, die er eigentlich mühelos hätte bewältigen müssen. In einem nicht unerheblichen Teil dieser Fälle lag die Ursache darin, dass Prefetch auf null gesetzt, auf dem Standardwert belassen oder aus einem Tutorial kopiert worden war, das für eine ganz andere Workload geschrieben wurde.

Prefetch wirkt trügerisch einfach. Es ist eine ganze Zahl. Doch sie steuert den grundlegenden Zielkonflikt zwischen Consumer-Durchsatz und Speicherdruck auf dem Consumer, zwischen Latenz und Acknowledgement-Overhead und zwischen einem Consumer, der Lastspitzen abfangen kann, und einem, der es nicht kann. Für Echtzeit-RabbitMQ-Cluster mit hohem Durchsatz – etwa für Handelsplattformen, IoT-Ingestion-Pipelines, Zahlungsabwickler und alles andere, bei dem Nachrichten pro Sekunde gezählt und SLAs in Millisekunden gemessen werden – ist ein korrekter Prefetch keine Option, sondern Pflicht. Er unterscheidet einen Cluster, der skaliert, von einem, der es nicht tut.

Was der Prefetch Count tatsächlich bewirkt

Auf Protokollebene ist der Prefetch Count der basic.qos-Parameter von AMQP 0-9-1. Er teilt dem Broker mit: „Schick mir nie mehr als N unbestätigte Nachrichten auf einmal.“ Sobald sich ein Consumer verbindet und eine Queue abonniert, beginnt der Broker, ihm Nachrichten bis zum Prefetch-Limit zuzustellen. Bestätigt der Consumer Nachrichten, schickt der Broker neue nach. Der Puffer des Consumers für Nachrichten in Bearbeitung ist zu jedem Zeitpunkt höchstens prefetch_count Nachrichten tief.

In der Praxis gibt es drei Prefetch-Modi:

  • Prefetch = 0 (unbegrenzt). Der Broker stellt Nachrichten so schnell zu, wie er kann, und der Consumer puffert alles, was ankommt. Das wirkt schnell – bis es das nicht mehr ist: Der Speicher des Consumers läuft voll, Acknowledgements hinken hinterher, und unter Last wird das System unberechenbar.
  • Prefetch = 1. Der Broker sendet eine Nachricht, wartet auf das Ack und sendet dann die nächste. Das zeigen die meisten Tutorials. Für Workloads mit hohem Durchsatz ist es katastrophal langsam, weil jede einzelne Nachricht die volle Round-Trip-Latenz bezahlt.
  • Prefetch = N (sinnvoller Wert). Der Consumer verarbeitet einen Batch von N Nachrichten gleichzeitig, der Broker bleibt dem Consumer mit einem stetigen Strom an Nachschub voraus, und der Durchsatz wird von der Verarbeitungsgeschwindigkeit des Consumers begrenzt statt von der Netzwerk-Round-Trip-Zeit.

Ziel ist immer der dritte Modus. Die Frage ist nur, wie groß N sein sollte – und die Antwort hängt stärker von Ihrer Workload ab, als den meisten Teams bewusst ist.

Expertenwissen: Der richtige Startwert für Workloads mit hohem Durchsatz

  • Prefetch = 1. Zerstört den Durchsatz. Sie werden Ihren Consumer nie auslasten. Beheben Sie das immer zuerst.
  • Prefetch = 0 (unbegrenzt). Funktioniert in der Testumgebung problemlos. Wird zum Produktionsvorfall, sobald der Consumer zum ersten Mal nicht mit den Publishern mithalten kann.
  • Prefetch = 10.000. Jemand hat gelesen, dass „mehr besser für den Durchsatz ist“, und das wörtlich genommen. Der Consumer puffert 10.000 Nachrichten, Acknowledgements hinken hinterher, der Speicherverbrauch steigt, und unter Last wird das ganze System unberechenbar.

„Wenn Ihr Prefetch Count auf null steht, nutzen Sie die unbegrenzte Variante. Das kann auch funktionieren – aber weil Sie einen sehr hohen Durchsatz haben, empfehle ich, einfach etwa 100, 200 oder so etwas in der Art einzustellen.“

— Felipe Gutierrez, Senior Engineer, AceMQ (aus einem AceMQ-Projekt zur Diagnose fehlschlagender Consumer-Acknowledgements in einem RabbitMQ-Deployment mit hohem Nachrichtenaufkommen)

Das ist unsere Standardempfehlung als Ausgangspunkt für Workloads mit hohem Durchsatz, und sie hat einen konkreten technischen Grund. Ein Prefetch im Bereich von 100 bis 200 gibt dem Broker genug Pipeline-Tiefe, um den Consumer voll auszulasten – der Consumer wartet nie auf die nächste Nachricht –, ohne seinen Speicher mit Tausenden noch unverarbeiteter Nachrichten zu fluten. Für die meisten Echtzeit-Workloads ist das der Sweet Spot. Wir starten dort und justieren nach oben oder unten, je nachdem, was die Metriken tatsächlich zeigen.

Die falschen Antworten, sortiert danach, wie oft wir sie sehen:

Warum Prefetch bei großem Maßstab so viel ausmacht

Er steuert die Auslastung der Consumer-Kapazität

RabbitMQ zeigt in der Management UI die Metrik „Consumer Capacity“ an. Sie gibt an, welchen Anteil der Zeit der Consumer aktiv Nachrichten verarbeitet, statt auf neue zu warten. Ein gut abgestimmter Consumer arbeitet mit 100 % Kapazität – er ist ständig beschäftigt. Ein Consumer mit zu niedrigem Prefetch liegt bei 40, 60 oder 80 %, weil er messbar Zeit damit verbringt, im Netzwerk auf seine nächste Nachricht zu warten. Diese Leerlaufzeit ist Durchsatz, den Sie bezahlt haben, aber nicht bekommen.

Felipe hat dafür eine klare Betriebsregel: Fällt die Consumer Capacity unter 100 %, kommt der Consumer mit dem Nachrichtenfluss nicht mehr mit, und der Entwickler muss benachrichtigt werden. Entweder ist der Prefetch falsch, der Consumer verarbeitet zu langsam, oder Sie brauchen mehr Consumer-Instanzen. In jedem dieser Fälle prüfen Sie als Erstes den Prefetch.

Er bestimmt das Verhalten der Flow Control

RabbitMQ verfügt über einen Flow-Control-Mechanismus, der Publisher drosselt, wenn die Consumer nicht mithalten. Das ist ein Sicherheitsventil, das verhindert, dass sich im Broker ein unbegrenzter Rückstau aufbaut – aber auch ein Signal, dass weiter vorne in der Kette etwas nicht stimmt. Ist der Prefetch richtig eingestellt, leeren die Consumer die Queue mit voller Geschwindigkeit, und die Flow Control greift nur selten. Ist er zu niedrig, staut sich die Queue unter Last, der Broker geht in die Flow Control, Publisher werden blockiert, und das Latenzverhalten des gesamten Systems verändert sich.

Bei hohem Durchsatz kann zwischen „alles in Ordnung“ und „Producer werden blockiert“ ein einziger schlecht gewählter Prefetch-Wert liegen.

Er wirkt mit dem Raft-Verhalten von Quorum Queues zusammen

Mit Quorum Queues – die 2026 in den meisten RabbitMQ-Deployments in Unternehmen laufen – werden die Wechselwirkungen von Prefetch noch folgenreicher. Falls Sie Ihre Migration auf Quorum Queues noch nicht abgeschlossen haben, ist jetzt der richtige Zeitpunkt. Quorum Queues nutzen den Raft-Konsens, das heißt, jedes Acknowledgement ist ein Raft-Log-Schreibvorgang auf einer Mehrheit der Knoten. Ein Prefetch von 1 auf einer Quorum Queue erzwingt für jede einzelne Nachricht einen Raft-Round-Trip und ruiniert damit den Durchsatz. Ein Prefetch von 100 oder 200 erlaubt dem Broker, Acknowledgement-Commits gebündelt ins Raft-Log zu schreiben – das ist erheblich effizienter.

Wir haben erlebt, dass sich der dauerhafte Durchsatz von Workloads nach einem Prefetch-Tuning auf Quorum Queues verdoppelt oder verdreifacht hat. Die Rechnung ist eindeutig: Weniger Raft-Commits pro Nachricht bedeuten mehr Nachrichten pro Sekunde.

Globaler vs. individueller Prefetch: Ein historischer Hinweis, der noch immer zählt

In RabbitMQ 3.x gab es zwei Prefetch-Modi, die Client-Bibliotheken setzen konnten: global und individuell. Der globale Prefetch galt für alle Consumer auf einem Channel – setzten Sie ihn auf 1.000 und liefen auf diesem Channel 5 Consumer, bekam jeder effektiv 200. Der individuelle Prefetch galt pro Consumer, ein Prefetch von 1.000 bedeutete also, dass jeder Consumer 1.000 Nachrichten in Bearbeitung haben konnte.

In RabbitMQ 4.x wurde die Semantik rund um Prefetch präzisiert und vereinfacht, der zugrunde liegende Zielkonflikt besteht aber weiterhin. Startet Ihre Architektur mehrere Consumer auf einem einzigen Channel, müssen Sie wissen, ob Ihre Client-Bibliothek Prefetch pro Consumer oder pro Channel setzt, denn die effektive Anzahl der Nachrichten in Bearbeitung unterscheidet sich grundlegend.

Die praktische Empfehlung: Setzen Sie in Produktionssystemen mit hohem Durchsatz auf Prefetch-Semantik pro Consumer und einen Consumer pro Channel. So erhalten Sie ein vorhersehbares Speicher- und Durchsatzverhalten je Consumer, das linear skaliert, wenn Sie Consumer-Instanzen hinzufügen. Zudem wird die Analyse von Kapazitätsproblemen viel einfacher, weil das Leistungsprofil jedes Consumers unabhängig ist.

So optimieren Sie Prefetch für Ihre Workload

Einen allgemeingültigen Prefetch-Wert gibt es nicht. Es gibt aber eine Methodik, mit der Sie schneller zum richtigen Wert für Ihre konkrete Workload gelangen als durch Raten.

Schritt 1: Mit 100 beginnen

Beginnen Sie bei jeder RabbitMQ-Workload mit hohem Durchsatz, die Sie noch nicht gemessen haben, mit einem Prefetch von 100. Das ist fast nie katastrophal falsch. Der Wert ist hoch genug, um den Pfad vom Broker zum Consumer als Pipeline zu nutzen, niedrig genug, um den Speicherdruck auf dem Consumer zu begrenzen, und liefert Ihnen eine messbare Ausgangsbasis für das weitere Tuning.

Schritt 2: Consumer Capacity unter repräsentativer Last messen

  • Liegt die Consumer Capacity unter 100 %, ist der Prefetch möglicherweise zu niedrig – der Consumer wartet auf Nachrichten.
  • Steigt der Speicherverbrauch des Consumers und hinken die Acknowledgements hinterher, ist der Prefetch möglicherweise zu hoch – der Consumer puffert mehr, als er verarbeiten kann.
  • Liegt die Kapazität bei 100 % und ist der Speicher stabil, stimmt der Prefetch. Lassen Sie ihn, wie er ist.

Schicken Sie eine repräsentative Last durch die Queue und beobachten Sie die Metrik „Consumer Capacity“ in der RabbitMQ Management UI. Behalten Sie außerdem den Speicherverbrauch der Consumer im Blick. Für Transparenz auf Cluster-Ebene lesen Sie unseren Leitfaden zum RabbitMQ-Monitoring auf Kubernetes. Sie achten auf drei Situationen:

Schritt 3: In sinnvollen Schritten anpassen

Müssen Sie nach oben korrigieren, versuchen Sie 200, dann 500. Springen Sie nicht von 100 auf 10.000 – der Zusammenhang zwischen Prefetch und Durchsatz ist nicht linear. Jede Verdopplung sollte zunächst eine messbare Durchsatzsteigerung bringen, dann abnehmenden Nutzen und schließlich negative Effekte, sobald der Consumer mit seinem eigenen Puffer zu kämpfen beginnt.

Schritt 4: Die Nachrichtengröße berücksichtigen

Ein Prefetch von 200 bei Nachrichten von 1 KB bedeutet 200 KB Speicher für Nachrichten in Bearbeitung pro Consumer. Ein Prefetch von 200 bei Nachrichten von 1 MB bedeutet 200 MB pro Consumer. Sind Ihre Nachrichten groß – und in Echtzeit-Pipelines sind sie das oft –, muss der Prefetch niedriger liegen als bei kleinen Nachrichten. Berechnen Sie den maximalen Speicherbedarf für Nachrichten in Bearbeitung als prefetch_count × p99_message_size und dimensionieren Sie den Consumer-Speicher entsprechend. Vergessen Sie diese Rechnung nicht in Umgebungen mit heterogenen Nachrichtengrößen.

Schritt 5: An den Belastungsgrenzen testen

Der richtige Prefetch-Wert ist der, der sowohl unter gleichmäßiger Last ALS AUCH in Recovery-Szenarien gut funktioniert. Simulieren Sie den Ausfall eines Consumers, während sich Nachrichten in der Queue stauen. Arbeitet der Ersatz-Consumer nach dem Start den Rückstau sauber mit der erwarteten Rate ab? Oder lässt ihn seine Prefetch-Konfiguration verhungern oder überflutet ihn? Prefetch-Werte, die im Normalbetrieb unauffällig sind, können beim Failover Probleme machen – genau dann, wenn sie sich korrekt verhalten müssen.

Die Falle der Nachrichtengröße: Warum Prefetch allein nicht reicht

Eine der häufigsten Betriebsfallen in RabbitMQ-Deployments mit hohem Durchsatz ist, Prefetch als einzige Stellschraube zu betrachten, obwohl eigentlich die Nachrichtengröße das Problem ist. RabbitMQ ist ein Message Broker, keine Datenbank – und auch kein System für Dateiübertragungen.

Wir haben RabbitMQ-Produktionsumgebungen gesehen, in denen sich der Betreiber beschwerte, der Durchsatz sei „auf mysteriöse Weise“ auf einen Bruchteil der erwarteten Rate begrenzt – bis die Analyse ergab, dass die Anwendung PDFs von mehreren Megabyte, Videoclips oder serialisierte Datenbank-Snapshots als Nachrichten-Payload verschickte. Das lässt sich durch kein Prefetch-Tuning beheben. Der Broker tut, was von ihm verlangt wird – es wird nur etwas von ihm verlangt, das er nicht tun sollte.

Die Architekturregel lautet: Halten Sie RabbitMQ-Nachrichten klein. Ein RabbitMQ-Architektur-Review hilft, die Stellen zu finden, an denen die Payload-Größe Ihren Durchsatz bremst. Müssen Sie eine große Payload durch das System bewegen, schreiben Sie sie in einen Object Storage und senden Sie eine Referenz über RabbitMQ. Nachrichten mit 4 KB bewegen sich um Größenordnungen schneller durch einen Cluster als Nachrichten mit 4 MB, selbst bei identischen Prefetch-Einstellungen, denn:

  • Kleinere Nachrichten verbrauchen pro Nachricht weniger Netzwerkbandbreite.
  • Kleinere Nachrichten belegen weniger Speicher in den Puffern von Broker und Consumer.
  • Kleinere Nachrichten werden in Quorum Queues schneller auf die Festplatte geschrieben.
  • Kleinere Nachrichten werden schneller auf die Raft-Follower repliziert.

Genau genommen ist das kein Prefetch-Problem. Doch jede Diskussion über Prefetch-Tuning für Echtzeitsysteme mit hohem Durchsatz muss die Prüfung der Nachrichtengrößen einschließen, denn wer Prefetch in einer Pipeline mit 4-MB-Nachrichten optimiert, optimiert an der falschen Stelle.

Wann Sie den Prefetch neu bewerten sollten

Prefetch ist kein Parameter, den man einmal setzt und dann vergisst. Überprüfen Sie Ihre Prefetch-Konfiguration, wenn:

  • sich die Durchsatzanforderungen ändern. Ein Wachstum um das 10-Fache des Nachrichtenvolumens bedeutet oft, dass ein Prefetch, der im alten Maßstab passte, im neuen falsch ist.
  • sich die Verteilung der Nachrichtengrößen verschiebt. Neue Anwendungsfunktionen, die größere Nachrichten senden, verändern die Speicherrechnung.
  • Sie auf Quorum Queues migrieren. Der Raft-Commit-Overhead verändert den optimalen Prefetch-Wert, meist nach oben.
  • Sie die Consumer-Architektur ändern. Der Wechsel von N Consumern auf einem Channel zu N Consumern mit jeweils eigenem Channel verändert die Prefetch-Rechnung komplett.
  • die Consumer Capacity unter Last unter 100 % liegt. Das ist das eindeutigste Signal dafür, dass in Ihrer Pipeline aus Prefetch, Consumer und Broker etwas nicht zusammenpasst.
  • die Flow Control bei Lasten greift, bei denen sie es nicht sollte. Mit der Flow Control signalisiert Ihnen der Broker, dass die Consumer nicht mithalten. Prefetch ist eine der ersten Stellen, an denen Sie nachsehen sollten.

Fazit für die Praxis

Prefetch ist der Tuning-Parameter mit der größten Hebelwirkung auf Consumer-Seite in RabbitMQ. Ist er bei hohem Durchsatz falsch gesetzt, äußert sich das in rätselhaften Kapazitätsgrenzen, unvorhersehbarem Speicherverhalten, Flow-Control-Ereignissen bei Lasten, die sie nicht auslösen sollten, und Support-Tickets mit dem Tenor „RabbitMQ fühlt sich langsam an“, ohne dass eine konkrete Ursache erkennbar ist.

Ist er richtig gesetzt, merkt man – nichts. Und genau das wollen Sie: Consumer mit 100 % Kapazität, stabiler Speicher, begrenzte Latenz und ein vorhersehbar skalierender Durchsatz, wenn Sie Consumer-Instanzen hinzufügen.

Wenn Sie heute eine neue Echtzeit-Workload auf RabbitMQ aufsetzen und ohne Zeit für ein vollständiges Tuning einen Ausgangspunkt brauchen: Prefetch = 100, pro Consumer, ein Consumer pro Channel. Messen Sie die Consumer Capacity, passen Sie von dort aus an und prüfen Sie Ihre Nachrichtengrößen, bevor Sie irgendeinen anderen Tuning-Parameter anfassen. Diese eine Empfehlung, konsequent angewendet, verhindert einen Großteil der Performance-Probleme, zu deren Diagnose wir gerufen werden.

Bei Workloads an der Belastungsgrenze – Hunderttausende Nachrichten pro Sekunde, SLAs unter 10 ms, Nachrichtenpersistenz auf Bankenniveau – wird das Tuning differenzierter, und die Wechselwirkungen mit Quorum Queues, Raft und der Consumer-Architektur verdienen mehr Aufmerksamkeit. Der Ausgangspunkt und die Methodik bleiben aber dieselben: mit 100 beginnen, messen, anpassen – und Nachrichten klein halten.

Sie optimieren einen RabbitMQ-Cluster mit hohem Durchsatz und stoßen an eine Grenze?

Das Engineering-Team von AceMQ hat RabbitMQ-Cluster im Extrembereich optimiert – Handelsplattformen, Zahlungssysteme, globale Pipelines im Gesundheitswesen und Echtzeit-Analytics-Umgebungen mit Hunderttausenden Nachrichten pro Sekunde. Prefetch ist nur ein Teil des Puzzles. Bleibt Ihr Cluster unter seinen Möglichkeiten, finden wir den Engpass – Broker, Consumer, Queue-Typ, Netzwerk, Festplatte – und bringen Sie zurück zu linearer Skalierung.

Ob Sie eine neue Workload mit hohem Durchsatz aufbauen und Architektur und Tuning von Anfang an richtig aufstellen möchten oder einen bestehenden Cluster haben, der nicht die erwartete Leistung bringt: Sprechen Sie mit unserem Team über ein Performance-Assessment. Wir bieten RabbitMQ-Beratung, kommerziellen RabbitMQ-Support und tiefgehendes RabbitMQ-Troubleshooting für Unternehmenskunden weltweit – nichts anderes machen wir.

Prefetch Count: die Antworten in Kürze

Der Prefetch Count ist die maximale Anzahl unbestätigter Nachrichten, die RabbitMQ einem Consumer (oder einem Channel) zustellt, bevor es anhält und auf Acks wartet. Alles Weitere folgt aus diesem einen Limit.

Womit Sie beginnen sollten. Setzen Sie Prefetch für die meisten Workloads auf einen Wert zwischen 10 und 30 und messen Sie. Verwenden Sie 1, wenn Sie eine strikte Reihenfolge über mehrere Consumer hinweg brauchen oder die Verarbeitung jeder Nachricht Sekunden dauert, denn jeder größere Wert parkt Arbeit bei einem Consumer, der nicht dazu kommt. Gehen Sie nur dann höher, in den Bereich von 100 bis 300, wenn die Consumer schnell und idempotent sind und ein Lasttest bestätigt hat, dass der Consumer-Host genug Speicherreserve hat. Größer ist nicht schneller, sobald der Consumer ausgelastet ist – es verlagert den Rückstau nur vom Broker auf den Client.

Warum 0 die meisten Probleme verursacht. Ein Prefetch von 0 bedeutet unbegrenzt. Der Broker stellt jede bereite Nachricht dem ersten Consumer mit offenem Channel zu, sodass ein Consumer die Queue an sich reißt, während die anderen untätig bleiben. Dieselbe Einstellung steckt hinter dem Großteil des Speicherdrucks auf Consumer-Seite, zu dem wir gerufen werden: Eine Queue entleert sich auf einen einzigen Prozess, der nicht schnell genug bestätigen kann, und der Prozess beginnt zu swappen oder wird beendet. Sieht eine Queue leer aus, ist der Durchsatz aber schlecht und läuft ein Consumer bei 100 Prozent CPU, prüfen Sie zuerst auf Prefetch 0.

Prefetch gibt es nur für Consumer mit manuellem Ack. Bei Auto-Ack betrachtet der Broker eine Nachricht in dem Moment als bestätigt, in dem er sie sendet. Es ist also nie etwas offen, das gegen das Limit zählen könnte. Ein Prefetch auf einem Auto-Ack-Consumer bewirkt nichts.

Quorum Queues und Streams sind keine Classic Queues. Quorum Queues berücksichtigen Prefetch, führen aber zusätzlich einen Delivery Count pro Nachricht und erzwingen ein delivery-limit (in 4.x standardmäßig 20). Stürzt ein Consumer mit großem Prefetch ab, gehen alle unbestätigten Nachrichten mit erhöhtem Delivery Count zurück. Schon wenige Neustarts können so Nachrichten in die Dead Letter Queue befördern, die nie fehlerhaft waren. Streams sind wiederum anders. Über das Stream-Protokoll ist die Flusskontrolle Credit-basiert, nicht Prefetch-basiert. Über AMQP 0-9-1 muss ein Stream-Consumer einen Prefetch ungleich null setzen und manuelle Acks verwenden, und das Ack löscht nichts, sondern gibt Credit zurück, damit der Broker mehr sendet. Den ausführlichen Vergleich finden Sie unter Classic Queues vs. Quorum Queues.

Drei Gründe, warum Prefetch im Lasttest „nicht funktioniert“. Erstens: Der Consumer nutzt Auto-Ack, und die Einstellung wird ignoriert. Zweitens: das Global-Flag. In RabbitMQ begrenzt global=false jeden einzelnen Consumer und global=true den gesamten Channel, und manche Client-Bibliotheken setzen dieses Flag standardmäßig anders oder interpretieren es anders. Drittens: Das Client-Framework wendet nach Ihrem Code einen eigenen Standardwert an (oft 1, manchmal 250) – oder auf einem anderen Channel als dem, den Sie konfiguriert haben. Prüfen Sie den tatsächlich wirksamen Wert mit rabbitmqctl list_consumers, statt sich auf den Code zu verlassen.

Prefetch ist Muster fünf von zehn im Leitfaden zur RabbitMQ-Zuverlässigkeit und Schritt sieben im Leitfaden zu Clustering und Sizing, der die Cluster-Seite derselben Durchsatzfrage behandelt.

FAQ

Welcher Prefetch Count ist für RabbitMQ sinnvoll?

Beginnen Sie bei typischen Consumern mit 10 bis 30 und optimieren Sie von dort aus mit einem Lasttest. Verwenden Sie 1 für lang laufende Tasks oder wenn die Reihenfolge über mehrere Consumer hinweg wichtig ist. 100 bis 300 sind schnellen, idempotenten Consumern vorbehalten, bei denen Sie gemessen haben, dass der Client-Host genug Speicherreserve für so viele Nachrichten in Bearbeitung hat. Lassen Sie den Wert in Produktion nie auf 0 – das bedeutet unbegrenzt und ist die mit Abstand häufigste Ursache dafür, dass ein Consumer eine Queue an sich reißt, während die übrigen untätig bleiben. Der richtige Wert ist der kleinste, der Ihre Consumer ausgelastet hält.

Warum funktioniert mein RabbitMQ Prefetch Count nicht?

Drei Ursachen decken fast jeden Fall ab, den wir untersucht haben. Der Consumer nutzt Auto-Ack, sodass Prefetch komplett ignoriert wird. Das Global-Flag ist anders gesetzt als erwartet, sodass das Limit pro Channel statt pro Consumer greift oder umgekehrt. Oder das Client-Framework setzt nach Ihrem Code einen eigenen Standardwert – oder auf einem anderen Channel als dem, den Sie konfiguriert haben. Prüfen Sie den tatsächlich wirksamen Wert mit rabbitmqctl list_consumers. Verhält sich das System dann immer noch auffällig, behandeln die Top 10 der RabbitMQ-Troubleshooting-Probleme die verwandten Fehlerbilder.

Gilt der Prefetch Count auch für Quorum Queues und Streams?

Quorum Queues berücksichtigen Prefetch genauso wie Classic Queues, mit einem Zusatz: Jede erneute Zustellung erhöht einen Delivery Count pro Nachricht, und sobald dieser das delivery-limit überschreitet, wird die Nachricht in die Dead Letter Queue verschoben oder verworfen. Ein abstürzender Consumer mit großem Prefetch treibt viele Nachrichten gleichzeitig an dieses Limit heran – halten Sie Prefetch bei Quorum Queues daher moderat. Streams über AMQP 0-9-1 erfordern einen Prefetch ungleich null und manuelle Acks, doch das Ack gibt nur Credit zurück und entfernt die Nachricht nicht. Über das native Stream-Protokoll ist die Flusskontrolle Credit-basiert, Prefetch ist dort gar nicht das Modell.

Sollte Prefetch pro Channel oder pro Consumer gesetzt werden?

Pro Consumer – in fast jedem Fall. In RabbitMQ wendet global=false (in den meisten Clients der Standard) das Limit auf jeden Consumer einzeln an. Das entspricht den Erwartungen und macht das Tuning vorhersehbar. global=true legt ein gemeinsames Limit für alle Consumer auf dem Channel fest. Das ist nur sinnvoll, wenn sich mehrere Consumer auf einem Channel ein festes Budget an Nachrichten in Bearbeitung teilen sollen. Setzen Sie beides, erzwingt der Broker beides. Wenn wir eine RabbitMQ-Landschaft mit Versionen von 3.8 bis 4.x im Rahmen von Managed Support übernehmen, gehört die Prüfung dieses Flags zu den ersten Schritten, denn sie erklärt erstaunlich viele Beschwerden über mangelnden Durchsatz.

Scott Sternloff

Autor

Scott SternloffSenior Enterprise Architect

Senior Enterprise Architect bei AceMQ. Verantwortet hier die technischen Beiträge: Architektur, Clustering und Migrationen von RabbitMQ, Kafka und Redis.

Leitfäden, Vergleiche und Studien

Mehr zum Thema RabbitMQ

Kostenlose Beratung

Lassen Sie Experten auf Ihre RabbitMQ-Cluster-Umgebung schauen

Ob Sie einen Produktionsvorfall beheben, eine Migration planen oder eine zweite Meinung zu Ihrer Architektur wünschen – unser Team steht bereit. Kein Verkaufsgespräch, nur Antworten.

E-Mail schreiben