BlogRabbitMQ

Prefetch count w RabbitMQ: dlaczego dobrze skonfigurowany prefetch jest kluczowy w klastrach czasu rzeczywistego o dużej przepustowości

Scott Sternloff

Autor: Scott Sternloff, Starszy architekt korporacyjny

LinkedIn · Aktualizacja: · 16 min czytania

Prefetch count w RabbitMQ: dlaczego dobrze skonfigurowany prefetch jest kluczowy w klastrach czasu rzeczywistego o dużej przepustowości
On this page

Spośród wszystkich parametrów strojenia, które decydują o wydajności konsumentów RabbitMQ, prefetch count ma największy wpływ — i jest najczęściej błędnie konfigurowany na produkcji. Niezliczoną liczbę razy trafialiśmy do korporacyjnych wdrożeń RabbitMQ, w których przepustowość była ograniczona, wykorzystanie konsumentów utknęło na 60%, pamięć na podach konsumentów gwałtownie rosła albo klaster wchodził w kontrolę przepływu (flow control) przy obciążeniach, które powinien bez trudu przyjąć — i w niemałym odsetku tych przypadków przyczyna źródłowa sprowadzała się do prefetch ustawionego na zero, pozostawionego na wartości domyślnej lub skopiowanego z tutoriala napisanego dla zupełnie innego obciążenia.

Prefetch jest zwodniczo prosty. To liczba całkowita. Ale to on rozstrzyga podstawowy kompromis między przepustowością konsumenta a presją pamięciową po jego stronie, między opóźnieniem a narzutem potwierdzeń oraz między konsumentem, który potrafi przyjąć skoki ruchu, a takim, który nie potrafi. W klastrach RabbitMQ czasu rzeczywistego o dużej przepustowości — obsługujących platformy transakcyjne, potoki przyjmujące dane z IoT, procesory płatności i wszystko inne, gdzie liczy się komunikaty na sekundę, a SLA mierzy w milisekundach — poprawne ustawienie prefetch nie jest opcjonalne. To ono odróżnia klaster, który się skaluje, od klastra, który się nie skaluje.

Co faktycznie robi prefetch count

Na poziomie protokołu prefetch count to parametr basic.qos w AMQP 0-9-1. Mówi brokerowi: „nie wysyłaj mi więcej niż N niepotwierdzonych komunikatów naraz”. Gdy konsument łączy się i subskrybuje kolejkę, broker zaczyna wysyłać mu komunikaty aż do limitu prefetch. W miarę jak konsument potwierdza komunikaty, broker wysyła kolejne w ich miejsce. Bufor komunikatów w locie po stronie konsumenta ma w każdej chwili głębokość co najwyżej prefetch_count komunikatów.

W praktyce występują trzy tryby prefetch:

  • Prefetch = 0 (bez limitu). Broker wysyła komunikaty tak szybko, jak potrafi. Konsument buforuje wszystko, co wysyła broker. Wygląda to na szybkie rozwiązanie, dopóki nie przestaje działać — pamięć konsumenta eksploduje, potwierdzenia się opóźniają, a system staje się nieprzewidywalny pod obciążeniem.
  • Prefetch = 1. Broker wysyła jeden komunikat, czeka na potwierdzenie, a potem wysyła następny. To pokazuje większość tutoriali. Przy obciążeniach o dużej przepustowości jest katastrofalnie wolne, ponieważ każdy pojedynczy komunikat płaci pełny koszt opóźnienia tam i z powrotem.
  • Prefetch = N (rozsądna wartość). Konsument przetwarza partię N komunikatów w locie, broker wyprzedza konsumenta stałym strumieniem kolejnych komunikatów, a przepustowość jest ograniczona szybkością przetwarzania po stronie konsumenta, a nie czasem przesyłu tam i z powrotem w sieci.

Celem zawsze jest trzeci tryb. Pytanie brzmi, ile powinno wynosić N, a odpowiedź zależy od obciążenia bardziej, niż zdaje sobie sprawę większość zespołów.

Opinia eksperta: od czego zacząć przy obciążeniach o dużej przepustowości

  • Prefetch = 1. Zabija przepustowość. Konsument nigdy nie zostanie w pełni wykorzystany. To trzeba naprawić najpierw, zawsze.
  • Prefetch = 0 (bez limitu). W środowisku testowym działa dobrze. Staje się incydentem produkcyjnym, gdy po raz pierwszy konsument nie nadąży za wydawcami.
  • Prefetch = 10,000. Ktoś przeczytał, że „im więcej, tym lepiej dla przepustowości”, i potraktował to dosłownie. Konsument buforuje 10,000 komunikatów, potwierdzenia się opóźniają, zużycie pamięci rośnie, a pod obciążeniem cały system staje się nieprzewidywalny.

„Jeśli prefetch count jest ustawiony na zero, oznacza to, że korzystacie z trybu bez limitu. To też może działać — ale ponieważ macie bardzo dużą przepustowość, zalecam po prostu ustawić coś w rodzaju 100, 200”.

— Felipe Gutierrez, Senior Engineer, AceMQ (z projektu AceMQ, w którym diagnozowano błędy potwierdzeń konsumentów w korporacyjnym wdrożeniu RabbitMQ o dużym wolumenie)

To nasza standardowa rekomendacja na start dla obciążeń o dużej przepustowości i stoi za nią konkretny powód inżynierski. Prefetch w zakresie 100–200 daje brokerowi wystarczającą głębokość potoku, by utrzymać konsumenta w pełnym obciążeniu — konsument nigdy nie czeka na kolejny komunikat — bez zalewania jego pamięci tysiącami komunikatów w locie, których jeszcze nie przetworzył. To optymalny punkt dla większości obciążeń czasu rzeczywistego; zaczynamy od niego, a potem stroimy w górę lub w dół na podstawie tego, co faktycznie pokazują metryki.

Błędne odpowiedzi, w kolejności częstości, z jaką je widzimy:

Dlaczego prefetch ma tak duże znaczenie w dużej skali

Decyduje o wykorzystaniu pojemności konsumenta

RabbitMQ pokazuje w interfejsie zarządzania metrykę „consumer capacity”, która wskazuje, przez jaki odsetek czasu konsument aktywnie przetwarza komunikaty, a przez jaki czeka na kolejne. Dobrze dostrojony konsument pracuje przy 100% pojemności — zawsze ma co robić. Konsument ze zbyt niskim prefetch pracuje przy 40%, 60%, 80% pojemności, ponieważ przez mierzalną część czasu czeka na kolejny komunikat z sieci. Ten czas bezczynności to przepustowość, za którą Państwo zapłacili, a której nie otrzymują.

Felipe stosuje w tej sprawie konkretną regułę operacyjną: jeśli consumer capacity spada poniżej 100%, konsument nie nadąża za strumieniem komunikatów i należy powiadomić dewelopera. Albo prefetch jest błędny, albo konsument przetwarza zbyt wolno, albo potrzeba więcej instancji konsumenta. W każdym z tych przypadków najpierw sprawdza się prefetch.

Wpływa na zachowanie kontroli przepływu

RabbitMQ ma mechanizm kontroli przepływu, który dławi wydawców, gdy konsumenci nie nadążają. To zawór bezpieczeństwa — zapobiega gromadzeniu przez broker nieograniczonych zaległości — ale też sygnał, że coś wcześniej w potoku jest źle dopasowane. Gdy prefetch jest dobrze dostrojony, konsumenci opróżniają kolejkę z maksymalną szybkością, a kontrola przepływu włącza się rzadko. Gdy prefetch jest zbyt niski, kolejka pod obciążeniem się zapycha, broker wchodzi w kontrolę przepływu, wydawcy zostają zablokowani, a charakterystyka opóźnień całego systemu się zmienia.

Przy dużej przepustowości dystans między „wszystko w porządku” a „producenci są blokowani” może wynosić jedną źle dobraną wartość prefetch.

Wchodzi w interakcję z mechanizmem Raft w kolejkach kworum

W przypadku kolejek kworum — z których w 2026 r. korzysta większość korporacyjnych wdrożeń RabbitMQ — interakcje z prefetch mają jeszcze większe konsekwencje. Jeśli nie zakończyli Państwo jeszcze migracji na kolejki kworum, teraz jest na to czas. Kolejki kworum korzystają z konsensusu Raft, co oznacza, że każde potwierdzenie to zapis w logu Raft na większości węzłów. Prefetch równy 1 w kolejce kworum wymusza pełną rundę Raft dla każdego pojedynczego komunikatu, co morduje przepustowość. Prefetch równy 100 lub 200 pozwala brokerowi grupować zatwierdzenia potwierdzeń w logu Raft, co jest znacznie wydajniejsze.

Widzieliśmy obciążenia, których stała przepustowość wzrosła dwu- lub trzykrotnie po przestrojeniu prefetch w kolejkach kworum. Rachunek jest prosty: mniej zatwierdzeń Raft na komunikat oznacza więcej komunikatów na sekundę.

Prefetch globalny a indywidualny: uwaga historyczna, która wciąż ma znaczenie

W RabbitMQ 3.x istniały dwa odrębne tryby prefetch, które mogły ustawiać biblioteki klienckie: globalny i indywidualny. Prefetch globalny obowiązywał dla wszystkich konsumentów na kanale — jeśli ustawiono globalny prefetch na 1,000, a na kanale było 5 konsumentów, każdy z nich otrzymywał efektywnie 200. Prefetch indywidualny obowiązywał dla każdego konsumenta osobno, więc wartość 1,000 oznaczała, że każdy konsument mógł mieć 1,000 komunikatów w locie.

W RabbitMQ 4.x semantyka prefetch została doprecyzowana i uproszczona, ale bazowy kompromis nadal istnieje. Jeśli Państwa architektura uruchamia wielu konsumentów na jednym kanale, trzeba wiedzieć, czy biblioteka kliencka ustawia prefetch dla konsumenta, czy dla kanału, ponieważ efektywna liczba komunikatów w locie jest wtedy zasadniczo różna.

Praktyczna rekomendacja: w produkcyjnych systemach o dużej przepustowości należy preferować semantykę prefetch dla konsumenta i jednego konsumenta na kanał. Daje to przewidywalne, niezależne dla każdego konsumenta zachowanie pamięci i przepustowości, które skaluje się liniowo przy dodawaniu instancji konsumentów. Znacznie upraszcza też debugowanie problemów z pojemnością, ponieważ obwiednia wydajności każdego konsumenta jest niezależna.

Jak faktycznie dostroić prefetch do własnego obciążenia

Nie istnieje uniwersalnie poprawna wartość prefetch. Istnieje natomiast metodologia, która doprowadzi do właściwej wartości dla konkretnego obciążenia szybciej niż zgadywanie.

Krok 1: zacząć od 100

Dla każdego obciążenia RabbitMQ o dużej przepustowości, którego jeszcze nie zmierzono, warto zacząć od prefetch równego 100. Ta wartość prawie nigdy nie jest katastrofalnie błędna. Jest wystarczająco wysoka, by zapewnić potokowanie na ścieżce od brokera do konsumenta, wystarczająco niska, by presja pamięciowa po stronie konsumenta była ograniczona, i daje mierzalny punkt odniesienia do dalszego strojenia.

Krok 2: zmierzyć consumer capacity pod reprezentatywnym obciążeniem

  • Jeśli consumer capacity jest poniżej 100%, prefetch może być zbyt niski — konsument czeka na komunikaty.
  • Jeśli pamięć konsumenta rośnie, a potwierdzenia się opóźniają, prefetch może być zbyt wysoki — konsument buforuje więcej, niż jest w stanie przetworzyć.
  • Jeśli capacity wynosi 100%, a pamięć jest stabilna, prefetch jest poprawny. Należy go zostawić w spokoju.

Należy przepuścić przez kolejkę reprezentatywne obciążenie i obserwować metrykę consumer capacity w interfejsie zarządzania RabbitMQ. Warto też obserwować zużycie pamięci przez konsumenta. Widoczność na poziomie klastra opisuje nasz przewodnik po monitoringu RabbitMQ na Kubernetes. Szukamy trzech sytuacji:

Krok 3: zmieniać wartość znaczącymi krokami

Jeśli trzeba zwiększyć wartość, warto spróbować 200, a potem 500. Nie należy przeskakiwać ze 100 na 10,000 — zależność między prefetch a przepustowością nie jest liniowa. Każde podwojenie powinno początkowo dawać mierzalny wzrost przepustowości, potem coraz mniejsze korzyści, a w końcu efekt odwrotny, gdy konsument zaczyna mieć problemy z własnym buforem.

Krok 4: uwzględnić rozmiar komunikatów

Prefetch 200 przy komunikatach 1KB to 200KB pamięci w locie na konsumenta. Prefetch 200 przy komunikatach 1MB to 200MB pamięci w locie na konsumenta. Jeśli komunikaty są duże — a w potokach czasu rzeczywistego często są — prefetch musi być niższy niż w przypadku małych komunikatów. Maksymalną pamięć w locie należy obliczyć jako prefetch_count × p99_message_size i odpowiednio zwymiarować pamięć konsumentów. W środowiskach o zróżnicowanych rozmiarach komunikatów nie wolno zapominać o tym obliczeniu.

Krok 5: przetestować na granicach awarii

Właściwa wartość prefetch to taka, która dobrze sprawdza się pod stałym obciążeniem ORAZ w scenariuszach odtwarzania po awarii. Warto zasymulować awarię konsumenta w chwili, gdy w kolejce zalegają komunikaty. Czy konsument zastępczy po uruchomieniu czysto opróżnia zaległości w oczekiwanym tempie? Czy może konfiguracja prefetch go głodzi albo zalewa? Wartości prefetch, które wyglądają dobrze w stanie ustalonym, mogą zachowywać się źle podczas przełączenia awaryjnego — a to właśnie wtedy muszą działać poprawnie.

Pułapka rozmiaru komunikatów: dlaczego sam prefetch nie wystarczy

Jedną z najczęstszych pułapek operacyjnych, jakie widzimy we wdrożeniach RabbitMQ o dużej przepustowości, jest traktowanie prefetch jako jedynego pokrętła, gdy prawdziwym problemem jest rozmiar komunikatów. RabbitMQ to broker komunikatów, a nie baza danych — i nie system do przesyłania plików.

Widzieliśmy produkcyjne wdrożenia RabbitMQ, w których operator skarżył się, że przepustowość jest „w tajemniczy sposób” ograniczona do ułamka oczekiwanej wartości, a dochodzenie wykazywało, że aplikacja wysyła jako ładunek komunikatów wielomegabajtowe pliki PDF, klipy wideo lub zserializowane zrzuty bazy danych. Żadne strojenie prefetch tego nie naprawi. Broker robi to, o co go poproszono — tyle że poproszono go o coś, czego nie powinien robić.

Zasada architektoniczna brzmi: komunikaty RabbitMQ powinny być małe. Przegląd architektury RabbitMQ pomoże ustalić, gdzie rozmiar ładunków obniża przepustowość. Jeśli trzeba przesłać przez system duży ładunek, należy zapisać go w magazynie obiektów, a przez RabbitMQ wysłać referencję. Komunikaty 4KB przechodzą przez klaster o rzędy wielkości szybciej niż komunikaty 4MB, nawet przy identycznych ustawieniach prefetch, ponieważ:

  • Mniejsze komunikaty zużywają mniej przepustowości sieci na komunikat.
  • Mniejsze komunikaty zajmują mniej pamięci zarówno w buforach brokera, jak i konsumenta.
  • Mniejsze komunikaty szybciej zapisują się na dysku w kolejkach kworum.
  • Mniejsze komunikaty szybciej replikują się na followerów Raft.

Ściśle rzecz biorąc, nie jest to problem prefetch. Ale każda rozmowa o strojeniu prefetch w systemach czasu rzeczywistego o dużej przepustowości musi obejmować audyt rozmiarów, ponieważ strojenie prefetch w potoku z komunikatami 4MB to optymalizacja niewłaściwej warstwy.

Kiedy wrócić do ustawień prefetch

Prefetch nie jest parametrem typu „ustaw i zapomnij”. Do konfiguracji prefetch należy wrócić, gdy:

  • Zmieniają się wymagania dotyczące przepustowości. 10-krotny wzrost wolumenu komunikatów często oznacza, że prefetch, który był dobry w starej skali, w nowej jest już błędny.
  • Zmienia się rozkład rozmiarów komunikatów. Nowe funkcje aplikacji wysyłające większe komunikaty zmieniają rachunek pamięci.
  • Następuje migracja na kolejki kworum. Narzut zatwierdzeń Raft zmienia optymalną wartość prefetch, zwykle w górę.
  • Zmienia się architektura konsumentów. Przejście z N konsumentów na jednym kanale na N konsumentów, z których każdy ma własny kanał, całkowicie zmienia rachunek prefetch.
  • Consumer capacity pod obciążeniem spada poniżej 100%. To najwyraźniejszy sygnał, że coś w potoku prefetch + konsument + broker jest źle dopasowane.
  • Kontrola przepływu włącza się przy obciążeniach, przy których nie powinna. Kontrola przepływu to komunikat od brokera, że konsumenci nie nadążają. Prefetch to jedno z pierwszych miejsc, które warto sprawdzić.

Wnioski praktyczne

Prefetch to parametr strojenia po stronie konsumenta o największej dźwigni w RabbitMQ. Błędne ustawienie przy dużej przepustowości objawia się tajemniczymi limitami pojemności, nieprzewidywalnym zachowaniem pamięci, zdarzeniami kontroli przepływu przy obciążeniach, które nie powinny ich wywoływać, oraz zgłoszeniami do wsparcia w stylu „RabbitMQ działa jakoś wolno” bez wskazania konkretnej przyczyny.

Poprawne ustawienie objawia się tym, że nic się nie dzieje — i właśnie o to chodzi: konsumenci przy 100% pojemności, stabilna pamięć, ograniczone opóźnienia i przewidywalne skalowanie przepustowości w miarę dodawania instancji konsumentów.

Jeśli uruchamiają Państwo dziś nowe obciążenie RabbitMQ czasu rzeczywistego i potrzebują punktu wyjścia bez czasu na pełne strojenie: prefetch = 100, dla konsumenta, jeden konsument na kanał. Należy zmierzyć consumer capacity, dostosować wartość na tej podstawie i przeprowadzić audyt rozmiarów komunikatów, zanim ruszy się jakikolwiek inny parametr strojenia. Ta jedna rekomendacja, stosowana konsekwentnie, zapobiega dużej części problemów wydajnościowych, do których diagnozowania jesteśmy wzywani.

W przypadku obciążeń na granicy możliwości — setki tysięcy komunikatów na sekundę, SLA poniżej 10 ms, trwałość na poziomie wymaganym w finansach — strojenie staje się bardziej zniuansowane, a interakcje z kolejkami kworum, Raft i architekturą konsumentów wymagają więcej uwagi. Ale punkt wyjścia jest ten sam i metodologia jest ta sama: zacząć od 100, mierzyć, dostosowywać i utrzymywać małe komunikaty.

Stroją Państwo klaster RabbitMQ o dużej przepustowości i trafili na sufit?

Zespół inżynierów AceMQ stroił klastry RabbitMQ działające w ekstremalnych warunkach — platformy transakcyjne, systemy płatności, globalne potoki w ochronie zdrowia i środowiska analityki czasu rzeczywistego obsługujące setki tysięcy komunikatów na sekundę. Prefetch to tylko jeden element układanki. Jeśli Państwa klaster osiąga mniej, niż powinien, możemy wyśledzić wąskie gardło — broker, konsument, typ kolejki, sieć, dysk — i przywrócić liniowe skalowanie.

Jeśli budują Państwo nowe obciążenie o dużej przepustowości i chcą od początku poprawnie zaprojektować architekturę i strojenie albo mają istniejący klaster, który nie osiąga oczekiwanej wydajności, zapraszamy do rozmowy z naszym zespołem o ocenie wydajności. Świadczymy doradztwo RabbitMQ, komercyjne wsparcie techniczne RabbitMQ oraz dogłębne rozwiązywanie problemów z RabbitMQ dla klientów korporacyjnych na całym świecie — zajmujemy się wyłącznie tym.

Prefetch count: krótkie odpowiedzi

Prefetch count to maksymalna liczba niepotwierdzonych komunikatów, jaką RabbitMQ wyśle do konsumenta (lub kanału), zanim się zatrzyma i zaczeka na potwierdzenia. Wszystko inne wynika z tego jednego limitu.

Od czego zacząć. Dla większości obciążeń warto ustawić prefetch od 10 do 30 i mierzyć. Wartość 1 stosuje się, gdy potrzebna jest ścisła kolejność między konsumentami lub gdy przetworzenie każdego komunikatu trwa sekundy, ponieważ każda większa wartość odkłada pracę u konsumenta, który nie jest w stanie się nią zająć. Wyżej, w zakresie od 100 do 300, należy iść tylko wtedy, gdy konsumenci są szybcy i idempotentni, a test obciążeniowy potwierdził, że host konsumenta ma zapas pamięci. Gdy konsument jest już w pełni obciążony, więcej nie znaczy szybciej; zaległości przenoszą się jedynie z brokera do klienta.

Dlaczego 0 sprawia najwięcej kłopotów. Prefetch równy 0 oznacza brak limitu. Broker wysyła każdy gotowy komunikat do pierwszego konsumenta z otwartym kanałem, więc jeden konsument zagarnia kolejkę, a pozostali stoją bezczynnie. To samo ustawienie stoi za większością przypadków presji pamięciowej po stronie konsumentów, do których jesteśmy wzywani: kolejka spływa do jednego procesu, który nie nadąża z potwierdzeniami, i proces zaczyna swapować albo zostaje zabity. Jeśli kolejka wygląda na pustą, ale przepustowość jest słaba, a jeden konsument ma CPU na poziomie 100 procent, najpierw należy sprawdzić, czy prefetch nie wynosi 0.

Prefetch istnieje tylko dla konsumentów z ręcznym potwierdzaniem. Przy auto-ack broker traktuje komunikat jako potwierdzony w chwili wysłania, więc nic nigdy nie pozostaje niepotwierdzone i nie wlicza się do limitu. Ustawienie prefetch dla konsumenta auto-ack nic nie daje.

Kolejki kworum i streamy to nie kolejki klasyczne. Kolejki kworum respektują prefetch, ale śledzą też licznik dostarczeń każdego komunikatu i egzekwują delivery-limit (domyślnie 20 w 4.x). Konsument z dużym prefetch, który ulega awarii, zwraca każdy niepotwierdzony komunikat ze zwiększonym licznikiem dostarczeń, więc kilka restartów może wysłać do dead-letter komunikaty, które nigdy nie były „zatrute”. Streamy to znowu inna historia. W protokole streamów kontrola przepływu opiera się na kredytach, a nie na prefetch. W AMQP 0-9-1 konsument streamu musi ustawić niezerowy prefetch i używać ręcznych potwierdzeń, a potwierdzenie niczego nie usuwa; zwraca kredyt, aby broker wysłał więcej. Pełniejsze porównanie zawiera artykuł kolejki klasyczne a kolejki kworum.

Trzy powody, dla których prefetch „nie działa” w teście obciążeniowym. Po pierwsze, konsument używa auto-ack i ustawienie jest ignorowane. Po drugie, flaga global: w RabbitMQ global=false ogranicza każdego konsumenta, a global=true cały kanał, przy czym niektóre biblioteki klienckie inaczej ustawiają tę flagę domyślnie lub inaczej ją interpretują. Po trzecie, framework klienta stosuje własną wartość domyślną (często 1, czasem 250) po wykonaniu Państwa kodu lub na innym kanale niż skonfigurowany. Faktyczną wartość należy zweryfikować poleceniem rabbitmqctl list_consumers, zamiast ufać kodowi.

Prefetch to piąty z dziesięciu wzorców w przewodniku po niezawodności RabbitMQ i siódmy krok przewodnika po klastrowaniu i wymiarowaniu, który omawia drugą, klastrową połowę tego samego pytania o przepustowość.

FAQ

Jaka wartość prefetch count jest dobra dla RabbitMQ?

Dla typowych konsumentów warto zacząć od 10 do 30 i dostroić wartość na podstawie testu obciążeniowego. Wartość 1 stosuje się przy długotrwałych zadaniach lub gdy liczy się kolejność między konsumentami. Zakres od 100 do 300 należy zarezerwować dla szybkich, idempotentnych konsumentów, w przypadku których zmierzono, że host klienta ma zapas pamięci na tyle komunikatów w locie. Na produkcji nigdy nie należy zostawiać wartości 0; oznacza ona brak limitu i jest najczęstszą przyczyną sytuacji, w której jeden konsument zagarnia kolejkę, a pozostali stoją bezczynnie. Właściwa wartość to najmniejsza, która utrzymuje konsumentów w ciągłej pracy.

Dlaczego prefetch count w RabbitMQ nie działa?

Trzy przyczyny wyjaśniają niemal każdy zbadany przez nas przypadek. Konsument korzysta z auto-ack, więc prefetch jest całkowicie ignorowany. Flaga global jest ustawiona odwrotnie, niż Państwo zakładają, więc limit dotyczy kanału zamiast konsumenta albo odwrotnie. Albo framework klienta ustawia własną wartość domyślną po wykonaniu Państwa kodu lub na innym kanale niż ten, który skonfigurowano. Faktyczną wartość można potwierdzić poleceniem rabbitmqctl list_consumers. Jeśli problem nie ustępuje, pokrewne scenariusze awarii omawia artykuł 10 najczęstszych problemów z RabbitMQ.

Czy prefetch count dotyczy kolejek kworum i streamów?

Kolejki kworum (quorum queues) respektują prefetch dokładnie tak jak kolejki klasyczne, z jednym dodatkiem: każde ponowne dostarczenie zwiększa licznik dostarczeń komunikatu, a po przekroczeniu delivery-limit komunikat trafia do dead-letter lub zostaje odrzucony. Konsument z dużym prefetch, który ulega awarii, zbliża do tego limitu wiele komunikatów naraz, dlatego w kolejkach kworum prefetch powinien być umiarkowany. Streamy obsługiwane przez AMQP 0-9-1 wymagają niezerowego prefetch i ręcznych potwierdzeń, ale potwierdzenie jedynie zwraca kredyt, nie usuwa komunikatu. W natywnym protokole streamów kontrola przepływu opiera się na kredytach i prefetch w ogóle nie jest tu modelem.

Czy prefetch ustawiać dla kanału, czy dla konsumenta?

Niemal zawsze dla konsumenta. W RabbitMQ global=false (wartość domyślna w większości klientów) stosuje limit do każdego konsumenta niezależnie — tego właśnie oczekuje większość osób i to sprawia, że strojenie jest przewidywalne. global=true stosuje jeden wspólny limit do wszystkich konsumentów na kanale, co przydaje się tylko wtedy, gdy kilku konsumentów na jednym kanale ma współdzielić stały budżet komunikatów w locie. Jeśli ustawi się oba, broker egzekwuje oba. Gdy przejmujemy środowisko RabbitMQ od 3.8 do 4.x w ramach wsparcia zarządzanego, sprawdzenie tej flagi jest jedną z pierwszych czynności, ponieważ wyjaśnia zaskakująco wiele skarg na przepustowość.

Scott Sternloff

Autor

Scott SternloffStarszy architekt korporacyjny

Starszy architekt korporacyjny w AceMQ. Odpowiada za treści techniczne: architekturę RabbitMQ, Kafka i Redis, klastrowanie i migracje.

Bezpłatna konsultacja

Niech eksperci przyjrzą się Państwa klastrowi RabbitMQ

Niezależnie od tego, czy rozwiązują Państwo incydent produkcyjny, planują migrację, czy chcą poznać drugą opinię o architekturze – nasz zespół jest gotowy. Bez sprzedażowych prezentacji, same odpowiedzi.

Napisz do nas