On this page
Krótka odpowiedź: domyślnie należy stosować kolejki kworum, a kolejki klasyczne zostawić dla naprawdę przejściowej pracy o dużej rotacji, w której utrata komunikatu po awarii węzła jest akceptowalna. To od dłuższego czasu właściwa rekomendacja, ale uzasadnienie jest ważniejsze niż sama reguła — bo to dwa wyjątki i koszt migracji naprawdę dają się zespołom we znaki.
To pytanie stale pojawia się podczas audytów RabbitMQ, zwykle w jednej z dwóch postaci: operator odziedziczył klaster pełen kolejek klasycznych i chce wiedzieć, czy konwersja jest warta zakłóceń, albo zespół projektuje coś nowego i potrzebuje domyślnego wyboru, który da się uzasadnić.
Trzy typy kolejek porównane pod kątem tego, co naprawdę ważne
RabbitMQ ma trzy mechanizmy przechowywania, które warto znać, a trzeci w ogóle nie jest kolejką — i właśnie dlatego bywa niewłaściwie używany.
Wiersz, który przesądza o większości projektów, to Survives power loss (odporność na utratę zasilania). Kolejka kworum replikuje i zapisuje każdy komunikat na dysk na kworum węzłów, zanim potwierdzi go publikującemu. Kolejka klasyczna utrwala dane lokalnie, ale nie ma replikacji, więc awaria węzła zabiera kolejkę ze sobą. Strumień replikuje, ale nie wykonuje fsync przed potwierdzeniem, co oznacza tę samą ekspozycję co w przypadku Kafka — dobrą dla telemetrii, niewłaściwą dla płatności.
Wiersz, który bywa źle odczytywany, to Reads (odczyty). Kolejki klasyczne i kworum mają odczyty niszczące: konsument pobiera komunikat i komunikatu już nie ma. Strumienie mają odczyty nieniszczące: komunikat zostaje, a wielu konsumentów może niezależnie czytać tę samą historię, każdy od własnego offsetu. Jeśli pojawia się potrzeba ponownego odczytu komunikatów z kolejki, potrzebny jest strumień.
Dlaczego kolejka kworum może sobie pozwolić na fsync
Typowy zarzut wobec kolejek kworum brzmi: zapis na dysk przy każdym komunikacie musi być wolny. Nie jest, a powodem jest decyzja projektowa, którą warto zrozumieć, bo to zarazem najwyraźniejsza różnica techniczna między RabbitMQ a Kafka.
Kolejki kworum współdzielą dziennik zapisu z wyprzedzeniem (write-ahead log). Jeden zapis na dysk obejmuje komunikaty przeznaczone dla wielu różnych kolejek, więc koszt rozkłada się na cały broker, zamiast być ponoszony osobno przez każdą kolejkę. Dzięki temu w praktyce można mieć jednocześnie wiele kolejek, replikację z fsync i realną przepustowość — trzy cechy, z których zwykle trzeba wybrać dwie.
Kafka działa odwrotnie: fsync odbywa się na poziomie partycji, co jest na tyle kosztowne, że Kafka domyślnie go odradza i polega wyłącznie na replikacji. To nie tyle wada, ile inny zakład projektowy, ale oznacza, że potwierdzony komunikat Kafki znajduje się w page cache kilku brokerów, a nie na dysku.
Jest też druga, mniej oczywista korzyść. Raft w kolejce kworum obejmuje stan dostarczania, a nie tylko treść komunikatów — to, który komunikat został wydany któremu konsumentowi i ile kredytów ma ten konsument. Po przełączeniu lidera nowy lider wznawia pracę z nienaruszonym stanem, zamiast ponownie dostarczać całą partię. To właśnie ten mechanizm w ogóle umożliwia TTL dla pojedynczych komunikatów, priorytety, opóźnienia i routing dead-letter.
Jak kolejki kworum zapewniają trwałość i failover
Opisany wyżej mechanizm rozkładania kosztu fsync wyjaśnia, dlaczego kolejki kworum są na tyle szybkie, by stosować je domyślnie. Nie wyjaśnia jednak, jak naprawdę przetrwają awarię węzła w trakcie pracy — a to warto zrozumieć, zanim zacznie się na nich polegać na produkcji.
Kolejka kworum to grupa Raft: nieparzysta liczba członków, po jednym na węzeł, z których w danym momencie jeden jest wybrany na lidera. Lider przyjmuje wszystkie publikacje i dostarczenia do konsumentów; followerzy replikują log lidera i głosują w wyborach. Gdy lider milknie — bo węzeł uległ awarii albo stracił łączność z siecią — followerzy zauważają to po brakującym heartbeacie, odczekują losowy limit czasu wyborów, aby dwóch followerów nie ogłosiło wyborów w tej samej chwili, a pierwszy, który zdobędzie większość głosów, zostaje nowym liderem na nową kadencję. Bez działań operatora i bez przestoju widocznego dla klientów poza ponownym połączeniem.
Co naprawdę oznacza potwierdzenie wydawcy (publisher confirm): RabbitMQ odsyła potwierdzenie dopiero wtedy, gdy komunikat zostanie zapisany na większości członków grupy, a nie tylko na liderze. W kolejce z trzema członkami oznacza to dwóch z trzech. Zapis jest wtedy trwały, nawet jeśli węzeł z trzecią repliką nigdy nie wróci; jego utrata kosztuje replikę, a nie komunikat.
To samo wymaganie większości określa dostępność przy każdej liczbie awarii. Przy trzech członkach: po utracie jednego pozostałe dwa nadal tworzą większość, więc kolejka dalej przyjmuje zapisy i po prostu działa z jedną repliką mniej, dopóki brakujący węzeł nie wróci i nie nadrobi zaległości z logu Raft. Po utracie dwóch pozostały pojedynczy węzeł nie może sam utworzyć większości, więc kolejka z założenia całkowicie przestaje przyjmować zapisy, zamiast ryzykować, że członek z niekompletnym logiem stanie się jedynym źródłem prawdy. To ta sama logika, na której opiera się pause_minority na poziomie klastra, zastosowana do pojedynczej kolejki.
Dlatego też parzysta liczba członków jest gorsza, niż się wydaje, a nie tylko zbędna. Kolejka z czterema członkami nadal toleruje utratę tylko jednego członka — po utracie drugiego zostaje dwóch z czterech, co nie stanowi większości: dodano całą dodatkową replikę wraz z dodatkowym obciążeniem Raft i kosztem pamięci przy dokładnie takiej samej odporności na awarie jak przy trzech. Z tego powodu liczba członków zawsze powinna być nieparzysta. Rozmieszczenie replik podlega tej samej logice co rozmieszczenie węzłów klastra: jeden członek na węzeł, rozłożeni na osobne hosty lub strefy dostępności, aby pojedyncza awaria infrastruktury nie mogła wyeliminować dwóch członków tej samej kolejki naraz.
Przykład praktyczny: kolejki kworum w przetwarzaniu płatności
Przetwarzanie płatności to obciążenie, dla którego opisany wyżej model trwałości został stworzony: liczy się każdy komunikat, w obrębie rachunku liczy się kolejność, a ciche duplikaty są gorsze niż powolne ponowienie. Oto jak poszczególne elementy składają się w całość w tym konkretnym przypadku.
- Topologia. Kolejka kworum z trzema członkami, po jednym węźle na strefę dostępności, spełnia zarówno wymóg trwałości, jak i scenariusz awarii całej strefy, bez specjalnej obsługi. To ten sam wzorzec trzech stref AZ, który opisujemy w przewodniku po HA, odtwarzaniu po awarii i doborze rozmiaru klastra; obciążenie płatnicze to dokładnie ten przypadek, który uzasadnia, by nie ograniczać się do jednej strefy AZ w celu zaoszczędzenia węzła.
- Potwierdzenia wydawcy zamiast trybu fire-and-forget. Usługa inicjująca płatność czeka na potwierdzenie publikacji od brokera, zanim poinformuje wywołującego, że płatność została przyjęta. Przy opisanej wyżej gwarancji zapisu większościowego takie potwierdzenie oznacza, że polecenie płatności jest trwale zapisane na co najmniej dwóch z trzech węzłów, zanim ktokolwiek dalej w łańcuchu dowie się, że do niej doszło.
- Ograniczone ponowienia z kolejką dead-letter. Należy ustawić
x-delivery-limitna kolejce, aby komunikat, którego przetwarzanie przez konsumenta wciąż się nie udaje, nie krążył w nieskończoność. Po wyczerpaniu prób dostarczenia należy kierować go do dedykowanej kolejki dead-letter, a nie go porzucać. Kolejkę DLQ dla płatności należy traktować jako stan alarmowy, a nie kosz: wszystko, co do niej trafia, wymaga sprawdzenia przez człowieka lub automatyczny proces uzgadniania, ponieważ oznacza płatność, która nie zakończyła się poprawnie w kilku pierwszych próbach. - Idempotentni konsumenci z kluczem w postaci identyfikatora płatności. Kolejki kworum, podobnie jak klasyczne, zapewniają dostarczanie co najmniej raz (at-least-once). W połączeniu z limitem dostarczeń i DLX opisanymi wyżej konsument może otrzymać ten sam komunikat płatności więcej niż raz. Konsumenta należy zaprojektować tak, aby przed ponownym zastosowaniem transakcji sprawdzał identyfikator płatności zapisany już jako przetworzony (lub wykonywał względem niego upsert) — wtedy ponowne dostarczenie nic nie zmienia, zamiast powodować podwójne obciążenie lub zdublowany wpis w księdze.
- Single active consumer dla uporządkowanego rozliczania. Gdy w obrębie rachunku liczy się kolejność rozliczeń, na przykład przy księgowaniu obciążeń i uznań po kolei, należy ustawić
x-single-active-consumerna kolejce, aby w danej chwili przetwarzała ją tylko jedna instancja konsumenta, z automatycznym przełączeniem na konsumenta zapasowego, jeśli aktywny przestanie działać. Oznacza to wymianę części przepustowości na ścisłe zachowanie kolejności w kolejce, co przy przepływach pieniężnych jest zwykle właściwym kompromisem. - Co monitorować. Głębokość kolejki i opóźnienie konsumentów (lag) w samej kolejce płatności, głębokość DLQ (powinna być bliska zera, a każdy utrzymujący się wzrost to incydent), liczbę ponownych dostarczeń na konsumenta (rosnący trend wskazuje na błąd w konsumencie, a nie na kondycję brokera) oraz stan synchronizacji replik wszystkich trzech członków, aby wychwycić opóźnioną replikę, zanim zostanie jedyną. Wzorce wykraczające poza tę jedną kolejkę — to, jak te same gwarancje trwałości składają się w szerszym projekcie opartym na zdarzeniach — opisujemy w artykule exchange'e, kolejki i powiązania w mikroserwisach, a pełny obraz tego, jak AceMQ określa zakres projektu komunikacji klasy płatniczej, przedstawia odporność i optymalizacja płatności.
Co się traci przy konwersji
Większość rekomendacji kończy się na haśle „używać kolejek kworum”. Najbardziej przydatne są jednak dwie rzeczy, które naprawdę zaskakują zespoły.
- Zużycie pamięci na kolejkę jest wyższe. Kolejka kworum przechowuje stan Raft i zajmuje więcej pamięci niż kolejka klasyczna. Jeśli projekt obejmuje tysiące małych, krótko żyjących kolejek — to częsty wzorzec typu kolejka na sesję lub na żądanie — konwersja wszystkich naraz może wprowadzić klaster w presję pamięciową, której wcześniej nie było. To najczęstszy sposób, w jaki migracja w dobrej wierze kończy się incydentem.
- Priorytety nie działają tak samo. Kolejki klasyczne realizują priorytety za pomocą
x-max-priority. Kolejki kworum obsługują priorytety inaczej i nie zapewniają identycznego mechanizmu, więc kolejkę, której działanie zależy od klasycznej semantyki priorytetów, trzeba zaprojektować na nowo, a nie po prostu zadeklarować ponownie. Takie kolejki należy znaleźć przed zaplanowaniem migracji, a nie w jej trakcie.
Warto też znać twardy limit: kolejka kworum nie jest shardowana. Osiąga maksymalnie około 80 000 komunikatów na sekundę z replikacją i fsync, a jednej kolejki nie da się rozdzielić między węzły, by działała szybciej. Łączna przepustowość wielu kolejek skaluje się bez problemu, ale pojedynczy, bardzo obciążony przepływ wymaga shardingu na poziomie aplikacji — publikowania do N kolejek z kluczem routingu rozkładającym obciążenie. To ograniczenie i jego porównanie z partycjonowaniem w Kafka opisujemy w artykule RabbitMQ a Kafka.
Wybór i rzeczywisty koszt konwersji
W przypadku konkretnej kolejki rozstrzygają cztery pytania.
Ostrzeżenie na tym schemacie odzwierciedla rzeczywistość operacyjną: typ kolejki jest ustalany przy deklaracji. Nie ma konwersji w miejscu. Migracja oznacza zadeklarowanie nowej kolejki kworum, skierowanie do niej publikujących i konsumentów, opróżnienie kolejki klasycznej i usunięcie jej, gdy będzie pusta. W działającym systemie to skoordynowana zmiana z oknem na opróżnienie kolejek, a nie edycja konfiguracji.
Kolejność, która się sprawdza: najpierw konwertować kolejki przenoszące pracę, której nie można stracić, w małych partiach, na bieżąco obserwując zużycie pamięci. Kolejki naprawdę przejściowe zostawić jako klasyczne. Nie ulegać pokusie konwersji wszystkiego za jednym podejściem — to dokładnie ta zmiana, która zamienia poprawę bezpieczeństwa w awarię.
Jeśli rozważają Państwo konwersję w dużym środowisku i chcą, by pułapki związane z pamięcią i priorytetami zostały wykryte przed rozpoczęciem prac, a nie w ich trakcie, jest to standardowy element RabbitMQ Health Check — można też skontaktować się z AceMQ w sprawie określenia zakresu prac.
Część przekonań stojących za tymi wyborami jest już nieaktualna — zob. mity o RabbitMQ a rzeczywistość.
Typ kolejki to druga z siedmiu decyzji opisanych w przewodniku po klastrowaniu i doborze rozmiaru RabbitMQ; błędny wybór to także czwarty z dziesięciu wzorców w przewodniku po niezawodności.
FAQ
Czym różni się kolejka klasyczna od kolejki kworum?
Kolejka klasyczna znajduje się na jednym węźle i utrwala komunikaty indywidualnie; gdy ten węzeł ulegnie awarii, kolejka i jej zawartość są niedostępne, dopóki węzeł nie wróci. Kolejka kworum jest replikowana na nieparzystej liczbie węzłów z użyciem konsensusu Raft i zapisuje każdy komunikat na dysk na kworum replik, zanim potwierdzi go publikującemu. Kolejka klasyczna jest lokalna i dobrze znosi dużą rotację; kolejka kworum jest replikowana i bezpieczna, i to ona jest zalecanym domyślnym wyborem dla wszystkiego, czego nie można stracić.
Czy kolejki kworum są wolniejsze od kolejek klasycznych?
Nieco, i to mniej, niż zakłada większość osób. Pojedyncza kolejka kworum osiąga około 80 000 komunikatów na sekundę z replikacją i fsync; kolejka klasyczna działa nieco szybciej, bo nie robi ani jednego, ani drugiego. Kolejki kworum pozostają szybkie, ponieważ współdzielą dziennik write-ahead, więc jedno wywołanie fsync obejmuje wiele kolejek, a koszt jest rozkładany, a nie ponoszony osobno przez każdą kolejkę.
Kiedy nadal warto stosować kolejkę klasyczną?
Gdy praca jest naprawdę przejściowa, o dużej rotacji, a utrata komunikatu po awarii węzła jest akceptowalna — rozgłaszanie unieważnień cache, ulotne powiadomienia, robocze zadania, które i tak zostaną wygenerowane ponownie. Kolejki klasyczne zużywają też mniej pamięci na kolejkę, co ma znaczenie przy bardzo dużej liczbie małych, krótko żyjących kolejek.
Czy kolejkę klasyczną można przekonwertować na kolejkę kworum w miejscu?
Nie. Typ kolejki jest ustalany przy deklaracji, więc konwersja oznacza zadeklarowanie nowej kolejki kworum, przeniesienie do niej publikujących i konsumentów, opróżnienie kolejki klasycznej, a następnie jej usunięcie. Należy to zaplanować jako migrację z oknem na opróżnienie kolejek. Konwersja tysięcy kolejek za jednym podejściem to migracja, która najczęściej kończy się problemami.
Czy kolejki kworum obsługują priorytety komunikatów?
Nie w taki sam sposób. Kolejki klasyczne obsługują priorytety za pomocą argumentu x-max-priority; kolejki kworum obsługują priorytety inaczej i nie oferują identycznego mechanizmu, więc kolejkę zależną od klasycznej semantyki priorytetów trzeba zaprojektować na nowo, a nie po prostu przekonwertować. To oraz większe zużycie pamięci na kolejkę to dwie pułapki, które zaskakują zespoły w trakcie migracji.
Ilu węzłów potrzebują kolejki kworum?
Nieparzystej liczby, a praktycznym minimum są trzy — wtedy kolejka toleruje awarię jednego węzła i zachowuje większość. W większych wdrożeniach często stosuje się pięć, co toleruje dwie awarie. Powyżej pięciu koszt konsensusu rośnie bez istotnego wzrostu bezpieczeństwa, więc większe klastry zwykle wynikają z innych potrzeb niż wymagania kworum.
Czy strumienie zastępują kolejki kworum?
Nie — rozwiązują inny problem. Strumień to log typu append-only z odczytami nieniszczącymi, więc konsumpcja nie usuwa komunikatu, a wielu konsumentów może niezależnie czytać tę samą historię. Kolejka kworum to kolejka zadań z odczytami niszczącymi i potwierdzaniem każdego komunikatu. Strumienie nie wykonują też fsync przed potwierdzeniem, więc dają słabszą gwarancję trwałości.
Czy kolejki kworum przetrwają awarię węzłów?
Tak, to ich główne zadanie. Kolejka kworum replikuje każdy komunikat na większość swoich członków z użyciem konsensusu Raft, zanim potwierdzi publikację, więc kolejka z trzema członkami działa dalej po utracie jednego węzła i przestaje przyjmować zapisy dopiero po utracie drugiego, ponieważ dwóch z trzech nie da się już osiągnąć. Członków należy rozmieszczać po jednym na węzeł, na osobnych hostach lub w osobnych strefach dostępności, aby pojedyncza awaria infrastruktury nie mogła usunąć więcej niż jednej repliki naraz.
Czy kolejki kworum poradzą sobie z przepustowością przetwarzania płatności?
Pojedyncza kolejka kworum osiąga maksymalnie około 80 000 komunikatów na sekundę z replikacją i fsync, czyli znacznie więcej, niż większość obciążeń płatniczych potrzebuje na jedną kolejkę. Jeśli konkretny przepływ wymaga więcej, należy podzielić go (sharding) na wiele kolejek kworum za pomocą klucza routingu, zamiast oczekiwać, że jedna kolejka będzie się dalej skalować, ponieważ kolejki kworum nie są wewnętrznie shardowane. W połączeniu z potwierdzeniami wydawcy (publisher confirms), `x-delivery-limit`, kolejkami dead-letter i idempotentnymi konsumentami przepustowość rzadko jest czynnikiem ograniczającym w przypadku płatności; jest nim poprawność przy ponowieniach.
Poradniki, porównania i analizy

