RabbitMQ

HA, disaster recovery i wymiarowanie klastra RabbitMQ: praktyczny przewodnik

Scott Sternloff

Autor: Scott Sternloff, Starszy architekt korporacyjny

LinkedIn · Aktualizacja:

LEADERnode-1REPLICAnode-2REPLICAnode-3QUORUM: 2/3
Na tej stronie
Właściwe zaprojektowanie wysokiej dostępności w RabbitMQ to jedna z najbardziej brzemiennych w skutki decyzji architektonicznych. Zbyt mało węzłów — i podczas awarii traci się kworum. Zbyt wiele — i płaci się za niepotrzebną pojemność. Błędnie zaprojektowane przełączanie awaryjne — i konfiguracja DR nie chroni wtedy, gdy jest naprawdę potrzebna.
Ten przewodnik omawia podstawy: jak zwymiarować klaster, jak naprawdę działa HA kolejek kworum, jak projektować disaster recovery między lokalizacjami lub strefami dostępności oraz jakie pułapki zaskakują zespoły.
This guide covers the fundamentals: how to size your cluster, how quorum queue HA actually works, how to design for disaster recovery across sites or availability zones, and the gotchas that catch teams off guard.

Ile węzłów powinien mieć klaster RabbitMQ?

Standardowa rekomendacja dla produkcyjnych klastrów RabbitMQ to trzy węzły. Nie jest to wartość przypadkowa — wynika z wymagań kworum mechanizmu konsensusu Raft w RabbitMQ, na którym opierają się kolejki kworum i zarządzanie metadanymi klastra.
Przy trzech węzłach: jeśli jeden ulegnie awarii, zostają dwa z trzech — nadal większość kworum. Jeśli awarii ulegną dwa węzły, pozostały nie będzie działał jako źródło prawdy (zachowanie „pause minority” w RabbitMQ prawidłowo zapobiega utracie danych).

„Minimalny rozmiar to trzy węzły w klastrze — i trzy to właściwie zalecany normalny stan, dopóki nie dochodzi się do naprawdę wysokich wymagań co do przepustowości”.

— Scott Sternloff, Principal Architect w AceMQ, rozmowa wstępna z firmą z sektora usług finansowych, czerwiec 2026

Dlaczego nie dwa węzły? Klaster dwuwęzłowy wydaje się działać, dopóki jeden węzeł nie ulegnie awarii — wtedy żaden z nich nie potrafi ustalić, czy jest w większości, czy w mniejszości, i oba się wstrzymują. Klastry o parzystej liczbie węzłów (dwa, cztery) tworzą niejednoznaczność; klastry o nieparzystej liczbie (trzy, pięć, siedem) — nie.
Anty-affinity jest obowiązkowe: wszystkie trzy węzły powinny działać na oddzielnych hostach fizycznych (lub w oddzielnych strefach dostępności w chmurze). Uruchomienie dwóch węzłów klastra na tej samej maszynie wirtualnej lub tym samym hoście fizycznym niweczy HA — jeśli ten host ulegnie awarii, większość zostaje natychmiast utracona.

Jak naprawdę działa HA kolejek kworum?

Kolejki kworum (quorum queues) wykorzystują konsensus Raft, aby zreplikować komunikaty na większość węzłów klastra, zanim potwierdzą je wydawcy. Oznacza to, że:
  • Komunikaty są zapisywane na N/2+1 węzłach przed potwierdzeniem (gdzie N to rozmiar klastra)
  • W klastrze trzywęzłowym komunikaty muszą zostać zapisane co najmniej na dwóch węzłach przed potwierdzeniem
  • Jeśli jeden węzeł ulegnie awarii, komunikaty są nadal dostępne na dwóch pozostałych — bez utraty danych
  • Wybór lidera jest automatyczny — jeśli główny węzeł kolejki ulegnie awarii, jedna z replik zostaje promowana
To znacząca poprawa w porównaniu ze starym podejściem opartym na klasycznych kolejkach lustrzanych, które było obarczone ryzykiem split-brain, niespójnym zachowaniem przy przełączaniu awaryjnym i wymagało ręcznej synchronizacji po przywróceniu węzła.
Pułapka, którą zespoły przeoczają: ochrona kworum oznacza, że RabbitMQ celowo ogranicza dostęp po utracie kworum. Jeśli partycja sieciowa odizoluje pojedynczy węzeł od dwóch pozostałych, węzeł ten sam się wstrzymuje, zamiast ryzykować, że stanie się rozbieżnym źródłem prawdy. Topologię sieci i monitoring należy projektować tak, by oczekiwały tego zachowania, a nie próbowały je obejść.

Jak zwymiarować klaster pod wymaganą przepustowość?

O wymiarowaniu klastra decydują trzy czynniki: tempo komunikatów, rozmiar ładunku komunikatu i wydajność konsumentów.
Dla wdrożenia obsługującego około 1000–2000 komunikatów na sekundę przy typowych rozmiarach ładunku rzędu 100–200 KB rozsądnym punktem wyjścia jest klaster trzywęzłowy z 4–8 vCPU na węzeł.

„Nie chce się niepotrzebnie przewymiarować, ale nie chce się też od razu wracać z informacją, że brakuje zapasu, i znowu prosić o budżet. Chodzi o to, co krytyczne, przy zachowaniu równowagi”.

— Scott Sternloff, Principal Architect w AceMQ, rozmowa wstępna z firmą z sektora usług finansowych, czerwiec 2026

Ograniczeniem częściej jest pamięć niż CPU. RabbitMQ intensywnie korzysta z pamięci, gdy kolejki rosną lub gdy komunikaty czekają na konsumentów. Pamięć węzła należy zwymiarować tak, by swobodnie mieściła oczekiwaną głębokość kolejek przy szczytowym obciążeniu, z zapasem.
W kolejkach kworum liczy się I/O dysku. Ponieważ kolejki kworum zapisują dane do WAL i plików segmentów przed potwierdzeniem, przepustowość dysku bezpośrednio wpływa na opóźnienie potwierdzania komunikatów. Zdecydowanie zalecana jest szybka pamięć SSD (NVMe lub równoważna).

Rozmieszczenie klastra w trzech strefach dostępności

Klaster rozciągnięty między regionami z realnym opóźnieniem sieciowym napotyka opisane wyżej opóźnienie konsensusu Raft i jest to rzeczywiste ograniczenie. Trzy strefy dostępności w jednym regionie to inna sytuacja. Czas podróży pakietu w obie strony między strefami AZ w regionie wynosi zwykle od jednej do dwóch milisekund, czyli mieści się z zapasem w tym, co konsensus Raft toleruje, nie traktując normalnego opóźnienia jako sygnału awarii. Dlatego jeden węzeł na strefę AZ to standardowy wzorzec produkcyjny, a nie kompromis.

Trzy to minimum z tego samego powodu, z którego jest minimum wszędzie indziej w tym przewodniku, tylko zastosowanym przestrzennie: po jednym węźle w każdej z trzech stref AZ daje odporność na awarię węzła i odporność na awarię strefy w tej samej trzywęzłowej topologii, bez dodatkowych węzłów. Klaster ze wszystkimi trzema węzłami w jednej strefie AZ ma odporność na awarię węzła, ale nie strefy — co niweczy sens korzystania z regionu wielostrefowego.

W klastrze trzywęzłowym rozłożonym na trzy strefy AZ rozmieszczenie członków kworum automatycznie odpowiada rozmieszczeniu węzłów: trzy repliki każdej kolejki domyślnie trafiają po jednej do każdej strefy, ponieważ RabbitMQ umieszcza jednego członka na węzeł aż do skonfigurowanego rozmiaru grupy. W większych klastrach, obejmujących więcej niż trzy strefy AZ lub z więcej niż trzema węzłami na strefę, nie należy tego zakładać; warto ustawić politykę queue-leader-locator na balanced i sprawdzić za pomocą rabbitmqctl list_queues name leader members, czy repliki krytycznych kolejek nie gromadzą się w jednej strefie.

To pause_minority faktycznie chroni klaster, gdy gaśnie cała strefa, a nie tylko gdy awarii ulega pojedynczy węzeł. Dotyczy to wersji 4.2 i starszych. W RabbitMQ 4.3 i nowszych przestaje to obowiązywać: wersja 4.3.0 usunęła Mnesia, a wraz z nią strategie obsługi partycji — cluster_partition_handling jest nadal akceptowany w rabbitmq.conf, ale nie ma żadnego efektu, a magazyn metadanych, kolejki kworum i strumienie opierają się na Raft, więc o tym, która strona nadal obsługuje ruch, decyduje wyłącznie reguła większości Raft. Przy aktualizacji należy usunąć ten klucz. Jeśli jedna strefa AZ stanie się nieosiągalna dla dwóch pozostałych, odizolowany węzeł sam się wstrzymuje, zamiast ryzykować, że stanie się rozbieżnym źródłem prawdy, a dwie strefy, które nadal się widzą, utrzymują klaster jako większość. Alerty należy zaprojektować tak, by traktowały to wstrzymanie jako prawidłowe zachowanie przy awarii strefy, a nie jako dodatkowy incydent.

Budżet opóźnień trzeba obserwować na bieżąco, a nie sprawdzić jednorazowo. Jeśli czas podróży pakietu między strefami AZ stale przekracza mniej więcej pięć milisekund, nie należy stroić konfiguracji tak, jakby chodziło o przypadkową partycję; to sygnał, że układ stref w regionie lub ścieżka sieciowa dostawcy chmury nie zachowuje się jak połączenie w obrębie jednego regionu — i najpierw trzeba zbadać topologię, a dopiero potem RabbitMQ.

Gdy strefa faktycznie ulegnie awarii, należy spodziewać się trzech zdarzeń po kolei: węzeł z tej strefy znika z wyniku rabbitmqctl cluster_status na pozostałych węzłach, każda kolejka, której lider znajdował się w tej strefie, przeprowadza nowy wybór wśród pozostałych replik, a każde połączenie klienta przypięte do węzła z utraconej strefy zostaje zerwane i musi zostać nawiązane gdzie indziej. Przed wszystkimi trzema węzłami warto umieścić load balancer lub wpis DNS zamiast wpisywać na sztywno adres jednego węzła w konfiguracji klienta, sprawdzać kondycję każdego węzła osobno, aby niedostępna strefa była wyłączana z rotacji bez ręcznej interwencji, i upewnić się, że biblioteki klienckie mają włączone automatyczne odtwarzanie połączeń, tak aby zerwane połączenie samo łączyło się z działającym węzłem, bez restartu aplikacji.

Potwierdzenie wysokiej dostępności przed uruchomieniem produkcyjnym: lista ćwiczeń awaryjnych

Klaster, którego nikt nigdy celowo nie zepsuł, to klaster, którego deklaracje dotyczące HA pozostają teoretyczne. Każde z poniższych ćwiczeń należy przeprowadzić przed uruchomieniem produkcyjnym i ponownie po każdej istotnej zmianie topologii, z kimś, kto obserwuje oczekiwany wynik, a nie tylko potwierdza, że klaster w końcu wrócił.

  • Bezwzględne zabicie węzła (kill -9 procesu beam). Oczekiwany wynik: dwa pozostałe węzły zgłaszają jego niedostępność w ciągu jednego interwału heartbeat, liderzy kolejek kworum na tym węźle są wybierani ponownie, a klienci z odtwarzaniem połączeń łączą się ponownie bez błędu aplikacji.
  • Łagodne drenowanie węzła za pomocą rabbitmqctl stop_app. Oczekiwany wynik: przywództwo zostaje przekazane, zanim proces faktycznie się zatrzyma, a w logu nie pojawiają się nieplanowane wybory.
  • Odcięcie jednej strefy od dwóch pozostałych na poziomie sieci. Oczekiwany wynik: odizolowany węzeł wstrzymuje się w trybie pause_minority, pozostała większość działa dalej i w żadnym momencie zapisy nie są przyjmowane po obu stronach jednocześnie.
  • Zapełnienie dysku na jednym węźle. Oczekiwany wynik: lokalnie uruchamia się alarm dysku, węzeł blokuje nowe połączenia, a reszta klastra działa bez zakłóceń.
  • Wyczerpanie pamięci na jednym węźle. Oczekiwany wynik: uruchamia się alarm pamięci, wydawcy publikujący do tego węzła zostają zablokowani, a konsumenci nadal opróżniają to, co już jest w kolejkach.
  • Restart węzła pod stałym obciążeniem odpowiadającym produkcji. Oczekiwany wynik: węzeł wraca do klastra, a jego repliki automatycznie się resynchronizują, bez ręcznej interwencji i bez widocznego skoku głębokości kolejek.
  • Wymuszenie wygaśnięcia certyfikatu TLS (lub symulacja w niższym środowisku). Oczekiwany wynik: połączenia kończą się czytelnym błędem handshake, a nie cichym zawieszeniem, co potwierdza, że runbook rotacji certyfikatów działa, zanim wygaśnie prawdziwy certyfikat.
  • Zabicie konkretnie tego węzła, który jest liderem krytycznej kolejki, a nie losowego. Oczekiwany wynik: nowy lider zostaje wybrany w ciągu kilku sekund, a biblioteka kliencka w przejrzysty sposób ponawia oczekujące publisher confirms.
  • Jednoczesne zatrzymanie wszystkich węzłów w jednej strefie AZ w celu symulacji pełnej awarii strefy. Oczekiwany wynik: dwie pozostałe strefy przez cały czas utrzymują dostępność klastra i każdej kolejki kworum.
  • Wyłączenie jednego węzła z rotacji load balancera przez jego health check, zanim zostanie dotknięty. Oczekiwany wynik: ruch przestaje do niego trafiać, zanim zostanie podjęte jakiekolwiek inne działanie, bez żadnych błędów widocznych dla klientów.
  • Aktualizacja krocząca, węzeł po węźle. Oczekiwany wynik: klaster pozostaje dostępny przez całą sekwencję, a okno pracy w mieszanych wersjach zamyka się w zaplanowanym czasie prac serwisowych.
  • Awaria konsumenta w trakcie potwierdzania. Oczekiwany wynik: jego niepotwierdzone komunikaty automatycznie wracają do kolejki po zamknięciu połączenia, bez utraty komunikatów.
  • Wprowadzenie sztucznego opóźnienia między dwiema strefami AZ zamiast całkowitego zerwania łącza. Oczekiwany wynik: widać, jak rzeczywiste przeciążenie sieci wygląda w metrykach, dzięki czemu podczas prawdziwego incydentu nie zostanie ono pomylone z awarią sprzętu.

Dla klastrów działających w zarządzanym Kubernetes wersje kilku z tych ćwiczeń specyficzne dla platformy, zwłaszcza drenowanie węzła i aktualizacja krocząca, opisujemy w artykułach RabbitMQ na EKS, AKS czy GKE oraz produkcyjna architektura RabbitMQ dla firm. Jeśli klaster już działa na produkcji i wolą Państwo, by ktoś przeprowadził tę listę ćwiczeń pod obciążeniem odpowiadającym produkcji, zamiast pisać skrypty od zera, to właśnie takie zlecenia regularnie realizują nasz zespół stabilizacji krytycznych środowisk na Kubernetes i zespół wsparcia technicznego, z docelowymi czasami reakcji od 15 minut, zależnie od planu na wypadek, gdyby ćwiczenie ujawniło prawdziwą lukę.

Docelowe czasy reakcji od 15 minut, zależnie od planu. Przypisani starsi inżynierowie.

Kontakt

Jak działa disaster recovery między strefami dostępności lub lokalizacjami?

Standardowe klastrowanie RabbitMQ zaprojektowano do pracy z niskim opóźnieniem w obrębie jednego centrum danych. Rozciąganie klastra między strefami dostępności lub lokalizacjami o znaczącym opóźnieniu wprowadza opóźnienie konsensusu Raft i nie jest zalecane przy odległościach geograficznych.
Właściwą architekturą disaster recovery dla wielu lokalizacji lub wielu stref AZ jest warm schema replication (dostępna w komercyjnej dystrybucji Tanzu RabbitMQ).
Co zapewnia warm schema replication:
  • Utrzymuje w lokalizacji zapasowej kopię całego schematu RabbitMQ zbliżoną do czasu rzeczywistego: wszystkie kolejki, powiązania, exchange'e, hosty wirtualne, użytkowników i uprawnienia
  • Asynchronicznie przekazuje do lokalizacji zapasowej komunikaty w obiegu, dzięki czemu ma ona najświeższy zsynchronizowany stan
  • Pozwala w dowolnym momencie promować lokalizację zapasową do roli głównej przy minimalnym nakładzie pracy na odtworzenie
  • Obsługuje promocję w obu kierunkach — każda z lokalizacji może stać się główną

„To kopia środowiska zbliżona do czasu rzeczywistego. Transakcje są faktycznie przesyłane asynchronicznie i potwierdzane. Więc zamiast kopii, przy której trzeba wszystko nadrabiać, dostaje się najświeższy zsynchronizowany stan brokera komunikatów, jaki jest osiągalny”.

— Scott Sternloff, Principal Architect w AceMQ, rozmowa wstępna z firmą z sektora usług finansowych, czerwiec 2026

A co z licencjonowaniem DR w wielu lokalizacjach?

W komercyjnym modelu licencjonowania liczy się każde środowisko, niezależnie od tego, czy jest to produkcja, QA, UAT czy DR. Pełna konfiguracja z lustrzaną produkcją i DR wymaga licencji zarówno dla klastra głównego, jak i klastra DR.
W mniejszych wdrożeniach można to zoptymalizować: niższe środowiska (QA, UAT) mogą nie wymagać replik DR i można je zwymiarować oszczędniej.

„Jeśli odwzorowuje się tylko produkcję, niższe środowiska nie potrzebują DR. Środowisko QA może w ogóle nie potrzebować klastrowania — po prostu działa albo nie. Można więc znacznie wszystko uprościć i odpowiednio zmniejszyć liczbę licencji”.

— Scott Sternloff, Principal Architect w AceMQ, rozmowa wstępna z firmą z sektora usług finansowych, czerwiec 2026

Niezależnie od tego, czy wymiarują Państwo nowy klaster, projektują przełączanie awaryjne między lokalizacjami, czy oceniają, czy warm schema replication jest warta kosztu licencji komercyjnej — prosimy o kontakt ze wsparciem technicznym AceMQ, a określimy zakres dla Państwa konkretnego środowiska.

W środowiskach regulowanych otaczający stos technologiczny ma własne obowiązki — zob. stos komunikacyjny w branżach regulowanych.

Jeśli otwartą kwestią jest mechanizm przenoszenia komunikatów między regionami, a nie wymiarowanie i rozmieszczenie klastrów, ta decyzja ma osobny przewodnik: federacja czy Shovel w disaster recovery RabbitMQ.

Jak testować disaster recovery RabbitMQ: ćwiczenia, które przeprowadzamy przed uruchomieniem produkcyjnym

Klaster, który nigdy nie stracił węzła w prawdziwych warunkach, zaskoczy za pierwszym razem, gdy to się stanie — zwykle o 2 w nocy. Oto program, który realizujemy z klientami, zanim klaster RabbitMQ zacznie obsługiwać ruch produkcyjny. Zajmuje mniej więcej dzień i daje liczby zamiast opinii.

Warunki wstępne.

  • Klaster stagingowy o kształcie produkcji: ta sama liczba węzłów, to samo rozmieszczenie w strefach AZ, ta sama wersja RabbitMQ (przeprowadzamy to na wszystkim od 3.8.x do 4.x), te same typy kolejek, polityki, biblioteki klienckie i ustawienia połączeń. Kolejki kworum i klasyczne zawodzą w różny sposób, więc jeśli produkcja ma oba typy, staging też musi je mieć. Dlaczego ma to tu znaczenie — zob. /blogs/rabbitmq-classic-vs-quorum-queues/.
  • Syntetyczni wydawcy i konsumenci z numerami sekwencyjnymi. Każdy wydawca oznacza komunikaty identyfikatorem strumienia i rosnącym licznikiem; każdy konsument rejestruje każdą otrzymaną sekwencję. Dzięki temu utratę (lukę) i duplikację (powtórzenie) można policzyć, zamiast się o nie spierać. Wydawcy korzystają z potwierdzeń (confirms), konsumenci z ręcznych potwierdzeń (manual acks).
  • Uruchomione dashboardy: głębokość kolejek, tempo publikowania i dostarczania, alarmy pamięci i dysku, liczba liderów kworum na węzeł, połączenia i kanały oraz opóźnienie potwierdzeń po stronie klienta. Czego nie widać, tego nie da się zaliczyć.
  • Wyznaczony właściciel runbooka, wspólny kanał komunikacji i zegar.

Ćwiczenia, po kolei.

  1. Zabicie jednego członka kworum. Należy zatrzymać RabbitMQ na węźle, który jest followerem większości kolejek, obserwować wybór lidera w kolejkach, którym przewodził, oraz opóźnienie potwierdzeń u wydawców. Zaliczone, jeśli: wybór kończy się w ciągu kilku sekund, u konsumentów nie ma żadnych luk w sekwencji, a potwierdzenia dla wydawców napływają przez cały czas. Następnie należy zrestartować węzeł i potwierdzić, że wraca do klastra i nadrabia zaległości.
  1. Zabicie węzła z największą liczbą liderów. Liderzy gromadzą się na węźle, który uruchomił się jako pierwszy, więc to trudniejsza wersja ćwiczenia 1. Należy go zabić, obserwować te same sygnały, przywrócić węzeł, a następnie zrównoważyć liderów:
rabbitmq-queues rebalance quorum

Zaliczone, jeśli: nie ma utraty komunikatów, potwierdzenia napływają dalej, a po zrównoważeniu liczba liderów jest mniej więcej równa na wszystkich węzłach.

  1. Zapełnienie dysku do progu alarmu wolnego miejsca. Należy zapisywać duży plik na jednym węźle, aż zadziała disk_free_limit. Zaliczone, jeśli: połączenia wydawców są widoczne w panelu zarządzania jako zablokowane, publikowanie się wstrzymuje zamiast kończyć błędem, konsumenci nadal opróżniają kolejki, a publikowanie samo się wznawia po usunięciu pliku. Jeśli konsumenci również się zatrzymują, oznacza to, że któryś konsument dzieli połączenie z wydawcą — trzeba to naprawić przed uruchomieniem produkcyjnym.
  1. Partycja sieciowa między węzłami. Przy cluster_partition_handling = pause_minority należy zablokować za pomocą iptables ruch między jednym węzłem a dwoma pozostałymi. Zaliczone, jeśli: węzeł w mniejszości sam się wstrzymuje, kolejki kworum po stronie większości nadal obsługują ruch, klienci podłączeni do wstrzymanego węzła widzą błąd połączenia i łączą się z działającym hostem ze swojej listy adresów, a po usunięciu reguły klaster sam się scala bez ręcznej interwencji. Warto zapisać, co zalogowali klienci — właśnie tę linię zobaczy inżynier dyżurny.
  1. Utrata strefy dostępności. Należy jednocześnie zatrzymać wszystkie węzły w jednej strefie AZ. W układzie trzech stref większość przetrwa. Zaliczone, jeśli: wynik jest identyczny jak w ćwiczeniu 1 — zero utraconych komunikatów i nieprzerwane potwierdzenia. Jeśli load balancer potrzebuje więcej niż kilku sekund, by wyłączyć niedziałające węzły, health check trzeba poprawić już teraz.
  1. Przełączenie regionalne. Należy zatrzymać wydawców, zanotować najwyższy numer sekwencji potwierdzony w regionie A, wyłączyć region A i przełączyć się na region B, korzystając z wybranej ścieżki międzyregionalnej (zob. /blogs/rabbitmq-federation-vs-shovel-disaster-recovery/). RPO to liczba komunikatów potwierdzonych w A, które nigdy nie pojawiły się w B — odczytuje się ją wprost z logów sekwencji. RTO to rzeczywisty czas od awarii do chwili, gdy konsumenci działają na B. Zaliczone, jeśli: obie wartości mieszczą się w celach zatwierdzonych przez biznes. Należy je zapisać — to uczciwa odpowiedź na pytanie „jaka jest nasza gotowość DR”.
  1. Powrót bez duplikatów. Należy przywrócić region A i skierować do niego ruch z powrotem. Zaliczone, jeśli: logi sekwencji konsumentów nie wykazują powtórzeń. Jeśli wykazują, konsumenci nie są idempotentni — to poprawka po stronie aplikacji, a nie brokera.
  1. Odtworzenie z kopii zapasowej. Należy wyeksportować definicje za pomocą rabbitmqctl export_definitions, zniszczyć klaster stagingowy, odbudować go i ponownie zaimportować definicje. Zaliczone, jeśli: wracają wszystkie exchange'e, kolejki, powiązania, hosty wirtualne, użytkownicy, uprawnienia i polityki. Warto wiedzieć, co nie wraca: komunikaty. Kopia zapasowa definicji to topologia, a nie dane. O przetrwaniu komunikatów decyduje replikacja i ścieżka międzyregionalna, nigdy plik kopii zapasowej.
ĆwiczenieCo jest mierzoneKryterium zaliczenia
Zabicie jednego członkaCzas wyboru, luki w sekwencji, przepływ potwierdzeńSekundy, zero, bez przerw
Zabicie węzła z największą liczbą liderówTo samo oraz rozkład liderów po zrównoważeniuTo samo, mniej więcej równy
Alarm dyskuStan wydawców, przepustowość konsumentówZablokowani, opróżnianie trwa
Partycja sieciowaZachowanie mniejszości, ponowne łączenie klientówWstrzymanie, ponowne połączenie, samoczynne scalenie
Utrata strefy AZWiększość działa dalejZero utraconych komunikatów
Przełączenie regionalneRPO w komunikatach, RTO w minutachW granicach uzgodnionych celów
PowrótLiczba duplikatówZero
Odtworzenie z kopii zapasowejPonownie zaimportowane definicjePełna topologia odtworzona

Częstotliwość. Pełny program należy przeprowadzić przed uruchomieniem produkcyjnym i ponownie po każdej zmianie topologii: nowym węźle, przeniesieniu między strefami AZ, aktualizacji do nowej wersji głównej, zmianie obsługi partycji. Zabicie pojedynczego węzła warto powtarzać co kwartał — jest tanie i wychwytuje dryf w ponownym łączeniu klientów, którego nikt nie zamierzał wprowadzić. Przełączenie regionalne należy wykonywać co najmniej raz w roku oraz przy każdej zmianie właściciela runbooka, bo runbook, którego nikt z obecnych nie wykonał, to dokument, a nie umiejętność. Większość awarii opisanych w /blogs/top-10-rabbitmq-troubleshooting-issues-how-to-avoid-them/ ujawniłaby się najpierw w którymś z tych ćwiczeń.

Przegląd wymiarowania i DR, łącznie z ćwiczeniami, to standardowe zlecenie w AceMQ; zob. /rabbitmq/.

How to test RabbitMQ disaster recovery: the drill we run before go-live

A cluster that has never lost a node in anger will surprise you the first time it does, usually at 2am. This is the programme we run with clients before a RabbitMQ cluster carries production traffic. It takes about a day and produces numbers rather than opinions.

Pre-conditions.

  • A staging cluster shaped like production: same node count, same AZ placement, same RabbitMQ version (we run this on everything from 3.8.x to 4.x), same queue types, policies, client libraries and connection settings. Quorum and classic queues fail differently, so if production has both, staging has both. See /blogs/rabbitmq-classic-vs-quorum-queues/ for why that matters here.
  • Synthetic publishers and consumers with sequence numbers. Each publisher stamps messages with a stream id and an increasing counter; each consumer records every sequence it sees. That makes loss (a gap) and duplication (a repeat) countable instead of arguable. Publishers use confirms, consumers use manual acks.
  • Dashboards up: queue depth, publish and deliver rates, memory and disk alarms, quorum leader count per node, connections and channels, and client-side confirm latency. If you cannot see it, you cannot pass it.
  • A named runbook owner, a shared channel, and a clock.

The drills, in order.

  1. Kill one quorum member. Stop RabbitMQ on a node that follows most queues. Watch leader election on the queues it led and watch confirm latency at the publishers. Pass: election completes in a few seconds, zero sequence gaps at the consumers, publisher confirms keep arriving throughout. Restart the node and confirm it rejoins and catches up.
  1. Kill the node holding the most leaders. Leaders pile onto whichever node was up first, so this is the harder version of drill 1. Kill it, watch the same signals, bring it back, then rebalance:
rabbitmq-queues rebalance quorum

Pass: no loss, confirms continue, and after the rebalance the leader count is roughly even across nodes.

  1. Fill a disk to the free-disk alarm. Write a large file on one node until disk_free_limit trips. Pass: publisher connections show as blocked in management, publishes stall rather than fail, consumers keep draining, and publishing resumes on its own once the file is deleted. If consumers stop too, a consumer is sharing a connection with a publisher; fix that before go-live.
  1. Partition the network between nodes. With cluster_partition_handling = pause_minority, block traffic between one node and the other two using iptables. Pass: the minority node pauses itself, quorum queues on the majority side keep serving, clients on the paused node see a connection error and reconnect to a surviving host from their address list, and the cluster heals without manual intervention when the rule is removed. Record what the clients logged; that line is what your on-call engineer will see.
  1. Lose an availability zone. Stop every node in one AZ at once. In a three-AZ layout a majority survives. Pass: identical to drill 1, zero loss and continuing confirms. If the load balancer takes more than a few seconds to drop the dead nodes, fix the health check now.
  1. Regional failover. Stop the publishers, note the highest sequence confirmed in region A, take region A down, and fail over to region B using whichever cross-region path you chose (see /blogs/rabbitmq-federation-vs-shovel-disaster-recovery/). RPO is the count of messages confirmed in A that never appear in B; read it straight from the sequence logs. RTO is wall-clock time from the outage to consumers running against B. Pass: both numbers sit inside the targets the business signed off on. Write them down; they are the honest answer to "what is our DR posture".
  1. Failback without duplicates. Bring region A back and return traffic to it. Pass: consumer sequence logs show no repeats. If they do, the consumers are not idempotent, and that is an application fix, not a broker fix.
  1. Restore from backup. Export definitions with rabbitmqctl export_definitions, destroy the staging cluster, rebuild it, re-import. Pass: exchanges, queues, bindings, vhosts, users, permissions and policies all come back. Know what does not: messages. A definitions backup is topology, not data. Message survival comes from replication and the cross-region path, never from a backup file.
DrillWhat you measurePass criterion
Kill one memberElection time, sequence gaps, confirm flowSeconds, zero, uninterrupted
Kill the leader-heavy nodeSame, plus leader spread after rebalanceSame, roughly even
Disk alarmPublisher state, consumer throughputBlocked, keeps draining
Network partitionMinority behaviour, client reconnectPauses, reconnects, self-heals
Lose an AZMajority continuesZero loss
Regional failoverRPO in messages, RTO in minutesInside agreed targets
FailbackDuplicate countZero
Restore from backupDefinitions re-importedFull topology back

Cadence. Run the full programme before go-live and again after any topology change: a new node, an AZ move, a major version upgrade, a change to partition handling. Run the single-node kill quarterly; it is cheap and catches client reconnect drift nobody meant to introduce. Run the regional failover at least yearly and whenever the runbook owner changes, because a runbook nobody present has executed is a document, not a capability. Most of the failures in /blogs/top-10-rabbitmq-troubleshooting-issues-how-to-avoid-them/ would have surfaced in one of these drills first.

A sizing and DR review, drills included, is a normal AceMQ engagement; see /rabbitmq/.

This post is one step in two longer sequences: the RabbitMQ disaster recovery guide takes HA and DR from the failure you are protecting against through to the failover test, and the clustering and sizing guide covers the node, queue-type and sizing decisions that come first.

Najczęściej zadawane pytania

Jak przetestować disaster recovery RabbitMQ?

Należy zbudować klaster stagingowy o kształcie produkcji, uruchomić syntetycznych wydawców i konsumentów, którzy oznaczają każdy komunikat numerem sekwencyjnym, a następnie po kolei psuć elementy: jeden węzeł, węzeł z największą liczbą liderów, pełny dysk, partycję sieciową, całą strefę dostępności i na koniec region. Każde ćwiczenie ma mierzalne kryterium zaliczenia, a logi sekwencji pokazują dokładnie, ile komunikatów utracono lub zduplikowano. Ćwiczenie regionalne daje rzeczywiste wartości RPO i RTO. Na koniec warto wyeksportować i ponownie zaimportować definicje, aby zespół przynajmniej raz odtworzył klaster od zera.

Jak często testować przełączanie awaryjne RabbitMQ?

Pełny program ćwiczeń należy przeprowadzić przed uruchomieniem produkcyjnym i po każdej zmianie topologii, w tym po dodaniu węzłów, przeniesieniu między strefami AZ, aktualizacji do nowej wersji głównej i zmianach w obsłudze partycji. Zabicie pojedynczego węzła warto powtarzać co kwartał — zajmuje godzinę i wcześnie wychwytuje regresje w ponownym łączeniu klientów. Przełączenie regionalne należy wykonywać co najmniej raz w roku oraz przy każdej zmianie właściciela runbooka, bo sens ćwiczenia polega na tym, że osoby pełniące dyżur faktycznie to zrobiły. Jeśli nikt z obecnego grafiku dyżurów nie przeprowadził przełączenia, termin już minął. Klienci AceMQ z umową wsparcia planują te ćwiczenia razem z nami i mają docelowe czasy reakcji od 15 minut, zależnie od planu, jeśli kiedykolwiek dojdzie do prawdziwego przełączenia; zob. /support/.

Czy eksperci mogą zwymiarować nasz klaster RabbitMQ?

Tak. Wymiarowanie z AceMQ, wyłącznym strategicznym partnerem MSP Broadcom w zakresie RabbitMQ, zaczyna się od Państwa rzeczywistych danych: tempa komunikatów, rozmiarów ładunku, liczby kolejek i konsumentów, retencji na czas awarii konsumentów oraz RPO i RTO, których faktycznie potrzebuje biznes. Wynikiem jest liczba węzłów i rozmieszczenie w strefach AZ, parametry CPU, pamięci i dysku na węzeł z zapasem, ustawienia kolejek kworum i polityk, rekomendacja obsługi partycji, projekt międzyregionalny tam, gdzie jest potrzebny, oraz plan ćwiczeń, który potwierdzi wynik przed uruchomieniem produkcyjnym. Wymiarowanie to część szerszego przeglądu HA i DR; zob. /rabbitmq/.

Jak zaprojektować klaster RabbitMQ w wielu strefach dostępności?

Należy umieścić jeden węzeł w każdej strefie AZ, przy trzech strefach jako standardowej podstawie, ponieważ opóźnienie między strefami w obrębie jednego regionu wynosi zwykle od jednej do dwóch milisekund i mieści się w tolerancji konsensusu Raft. W klastrze trzywęzłowym rozmieszczenie członków kworum automatycznie odpowiada rozmieszczeniu węzłów, więc każda kolejka ma po jednej replice w każdej strefie. `pause_minority` chroni klaster, gdy strefa staje się nieosiągalna: odizolowany węzeł się wstrzymuje, a pozostała większość w dwóch strefach działa dalej. Przed wszystkimi trzema węzłami warto umieścić load balancer lub wpis DNS i włączyć po stronie klienta automatyczne odtwarzanie połączeń, aby utrata strefy nie wymagała ręcznego ponownego łączenia.

Jak przetestować wysoką dostępność RabbitMQ przed wdrożeniem produkcyjnym?

Należy przeprowadzić ustrukturyzowane ćwiczenie awaryjne obejmujące zabijanie węzłów, łagodne drenowanie, partycje na poziomie stref, wyczerpanie dysku i pamięci, aktualizacje kroczące oraz pełną symulowaną awarię strefy AZ — każde z pisemnie określonym oczekiwanym wynikiem. Celem jest udowodnienie, że klaster zachowuje się tak, jak zakłada architektura, a nie tylko potwierdzenie, że w końcu wraca do działania. Warto to zrobić przed uruchomieniem produkcyjnym i ponownie po każdej istotnej zmianie topologii lub wersji, bo nieprzetestowane założenia dotyczące HA zwykle po raz pierwszy wychodzą na jaw podczas prawdziwego incydentu.

How do I test RabbitMQ high availability before production?

Run a structured failure drill covering node kills, graceful drains, zone-level partitions, disk and memory exhaustion, rolling upgrades, and a full simulated AZ outage, each with a written expected observation. The goal is proving the cluster behaves the way your architecture assumes it will, not just confirming it eventually comes back online. Do this before go-live and again after any significant topology or version change, since untested assumptions about HA tend to surface for the first time during a real incident.

Bezpłatna konsultacja

Ekspercka ocena: Klaster RabbitMQ

Niezależnie od tego, czy rozwiązują Państwo incydent produkcyjny, planują migrację, czy chcą poznać drugą opinię o architekturze – nasz zespół jest gotowy. Bez sprzedażowych prezentacji, same odpowiedzi.

Napisz do nas