On this page
RabbitMQ między regionami to problem przenoszenia komunikatów, a nie replikacji
Pytanie, które najczęściej słyszymy od architektów planujących drugi region, to jakaś wersja „federacja czy Shovel w RabbitMQ do DR?”. To dobre pytanie, ale kryje się w nim błędne założenie. Oba pluginy przenoszą komunikaty między klastrami, które nie współdzielą stanu. Żaden nie kopiuje kolejki. Żaden nie utrzymuje dwóch klastrów w pełnej synchronizacji. Jeśli plan DR zakłada, że w chwili awarii klaster zapasowy będzie zawierał te same komunikaty co główny, zarówno federacja, jak i Shovel Państwa rozczarują — i to w najgorszym możliwym momencie.
Czy zatem federacja RabbitMQ nadaje się do disaster recovery? Tak, dla określonego modelu DR: takiego, w którym akceptuje się ograniczone okno utraty lub duplikacji komunikatów w locie, konsumenci są projektowani z myślą o ponownym odtwarzaniu, a plugin utrzymuje drugi region w gotowości, dostarczając mu potrzebny ruch. To samo dotyczy Shovel. W tym artykule wyjaśniamy, co każdy z pluginów faktycznie robi w RabbitMQ 3.13 i 4.x, gdzie ich semantyka różni się w sposób istotny dla odtwarzania, oraz jak łączymy je w projekcie dla dwóch regionów, który przetrwa awarię regionu, nie tworząc komunikatów znikąd i nie gubiąc ich po cichu.
Jedna uwaga co do zakresu. Dobór rozmiaru klastra, liczba węzłów i rozmieszczenie w wielu strefach dostępności w obrębie regionu omawiamy w naszym przewodniku po HA i doborze rozmiaru klastrów RabbitMQ i nie będziemy tego tutaj powtarzać.
Jak działa federacja: exchange'e, kolejki, upstreamy i przeskoki
Federacja działa w modelu pull. Klaster downstream deklaruje upstream, otwiera do niego połączenie AMQP i pobiera komunikaty. Połączeniem (linkiem) zarządza downstream, dlatego to tę stronę się konfiguruje — choć my włączamy plugin po obu stronach, aby role można było odwrócić.
Istnieją dwa warianty. Federacja exchange'y sprawia, że exchange w klastrze downstream otrzymuje komunikaty publikowane do exchange'a o tej samej nazwie w upstreamie. Pod spodem downstream tworzy w upstreamie wewnętrzną kolejkę, wiąże ją tymi samymi bindingami, które istnieją na exchange'u downstream, i z niej konsumuje. Przez link przechodzą tylko komunikaty pasujące do bindingu po stronie downstream, więc downstream bez bindingów niczego nie pobiera. Federacja kolejek sprawia, że kolejka downstream pobiera komunikaty z kolejki o tej samej nazwie w upstreamie, ale tylko wtedy, gdy kolejka downstream ma konsumentów, a kolejka upstream ma gotowe komunikaty. Równoważy ona obciążenie między lokalizacjami, zamiast kopiować: komunikat, który trafi do downstreamu, znika z kolejki upstream.
Parametr max-hops w definicji upstreamu określa, jak daleko komunikat propaguje się przez łańcuch sfederowanych exchange'y. Wartość domyślna to 1: komunikat przechodzi przez jeden link i się zatrzymuje. Federacja dodaje przy każdym przeskoku nagłówek x-received-from i nie przekaże komunikatu z powrotem do upstreamu, przez który już przeszedł — to właśnie zapobiega pętlom w konfiguracji dwukierunkowej. max-hops należy pozostawić na 1, chyba że celowo buduje się siatkę.
Gdy upstream jest nieosiągalny, downstream nadal obsługuje lokalnych publikujących i konsumentów. Link ponawia próbę co reconnect-delay sekund, domyślnie co pięć, dopóki upstream nie wróci. Komunikaty publikowane w upstreamie w trakcie przerwy gromadzą się w wewnętrznej kolejce po stronie upstreamu, ograniczonej jedynie przez message-ttl i expires ustawione w definicji upstreamu, i są opróżniane po przywróceniu linku. To najbardziej przydatna cecha federacji z punktu widzenia DR i zarazem jej najczęstsza pułapka, bo nieograniczona kolejka upstream podczas długiej przerwy może wywołać w upstreamie alarm dyskowy.
Na sprawnym linku kolejność jest zachowana, ponieważ wewnętrzna kolejka jest FIFO z jednym konsumentem. Nie jest ona jednak gwarantowana po ponownym połączeniu, a domyślny ack-mode on-confirm może ponownie dostarczyć komunikaty, które były w drodze, gdy link się zerwał. Federacja zapewnia dostarczanie co najmniej raz (at-least-once) przez link, nigdy dokładnie raz. I mówiąc wprost: federacja to nie replikacja i nie lustro. Sfederowany exchange w klastrze zapasowym nie wie nic o komunikatach czekających nieskonsumowane w kolejkach klastra głównego.
# On the downstream (standby) cluster
rabbitmqctl set_parameter federation-upstream east \
'{"uri":["amqps://fed:REDACTED@east-a.example.internal:5671","amqps://fed:REDACTED@east-b.example.internal:5671"],"max-hops":1,"ack-mode":"on-confirm","message-ttl":3600000,"expires":86400000,"reconnect-delay":5}'
rabbitmqctl set_policy --apply-to exchanges federate-events "^events\." \
'{"federation-upstream-set":"all"}'URI celowo podano jako listę. Jeśli pierwszy węzeł upstreamu jest niedostępny, link próbuje kolejnego — dokładnie tak, jak powinien zachowywać się link DR.
Jak działają shovele: statyczne, dynamiczne i tryby potwierdzeń
Shovel to konsument i publikujący połączeni w jedno wewnątrz brokera. Konsumuje z kolejki źródłowej, publikuje do docelowego exchange'a lub kolejki i potwierdza komunikat w źródle zgodnie ze swoim ack-mode. Komunikaty opuszczają źródło. Na tym polega zasadnicza różnica w stosunku do federacji exchange'y: shovel przenosi, a federacja kopiuje zgodnie z bindingami.
Shovele statyczne są definiowane w advanced.config i ich zmiana wymaga restartu węzła, więc pasują do stałych połączeń. Shovele dynamiczne to parametry runtime, tworzone poleceniem rabbitmqctl set_parameter shovel lub przez API zarządzania; można je dodawać, zmieniać i usuwać na żywo. W DR używamy niemal wyłącznie shoveli dynamicznych, bo failover i failback to dokładnie te momenty, w których trzeba zmieniać konfigurację bez restartowania węzła. Shovel dynamiczny działa na jednym węźle; jeśli ten węzeł ulegnie awarii, shovel uruchamia się ponownie na innym.
ack-mode decyduje o tym, co shovel może zgubić. Przy on-confirm, czyli ustawieniu domyślnym, shovel potwierdza komunikat w źródle dopiero po potwierdzeniu go przez miejsce docelowe, więc awaria między publikacją a potwierdzeniem może spowodować duplikat, ale nigdy utratę. Przy on-publish shovel potwierdza komunikat po zapisaniu go do połączenia docelowego, przed potwierdzeniem, więc awaria miejsca docelowego w niewłaściwej chwili oznacza jego utratę. Przy no-ack shovel używa automatycznego potwierdzania w źródle i przy jakiejkolwiek awarii traci wszystko, co było w jego buforze prefetch. Dla ruchu DR istnieje jedna prawidłowa odpowiedź i jest nią on-confirm.
Ponowne łączenie działa jak w federacji: po utracie któregokolwiek końca shovel czeka reconnect-delay sekund i ponawia próby bez końca, chyba że src-delete-after nakazuje mu zakończyć pracę po opróżnieniu kolejki. Ta opcja przydaje się przy jednorazowych migracjach i przy failbacku, gdy shovel ma opróżnić kolejkę i sam się usunąć.
Shovele można składać w topologie fan-in i fan-out. Fan-in to kilka shoveli, po jednym na klaster źródłowy, publikujących do jednego docelowego exchange'a; wykorzystujemy to do ściągania regionalnych zdarzeń audytowych lub rozliczeniowych do klastra centralnego. Fan-out to kilka shoveli z jednego klastra, z których każdy czyta własną kolejkę źródłową powiązaną z tym samym exchange'em i dostarcza komunikaty do innego miejsca docelowego. Pojedynczy shovel nie może realizować fan-out, ponieważ każdy komunikat konsumuje tylko raz.
rabbitmqctl set_parameter shovel orders-dr-to-west \
'{"src-protocol":"amqp091","src-uri":"amqps://shovel:REDACTED@east-lb.example.internal:5671","src-queue":"orders.work.dr","src-prefetch-count":500,"dest-protocol":"amqp091","dest-uri":"amqps://shovel:REDACTED@west-lb.example.internal:5671","dest-queue":"orders.work.standby","ack-mode":"on-confirm","reconnect-delay":5}'Czego nie zapewnia żaden z pluginów: replikacji synchronicznej
W obrębie jednego klastra kolejki kworum replikują każdy komunikat do większości swoich członków z użyciem Raft, zanim potwierdzą go publikującemu. Potwierdzony komunikat przetrwa utratę mniejszości węzłów bez żadnej luki i bez ponownego odtwarzania. To jest replikacja synchroniczna i właśnie dlatego kolejki kworum są domyślnym wyborem dla trwałych obciążeń w obrębie regionu.
Ani federacja, ani Shovel nie robią niczego podobnego. Oba są asynchronicznymi konsumentami działającymi za ścieżką potwierdzeń klastra głównego. Publikujący otrzymuje potwierdzenie, gdy kolejka kworum w klastrze głównym zatwierdzi zapis; klaster zapasowy otrzymuje komunikat nieco później, gdy link go skonsumuje, prześle przez WAN, a klaster zapasowy go potwierdzi. Ta różnica czasu to Państwa ekspozycja na ryzyko. Na sprawnym linku wynosi zwykle dziesiątki milisekund, ale nigdy zero, a podczas przerwy w połączeniu rośnie, dopóki link nie wróci.
Komercyjna dystrybucja Tanzu RabbitMQ od Broadcom zawiera funkcję replikacji warm standby, która replikuje schemat i dane komunikatów z aktywnego klastra do pasywnego jako funkcję produktu z własnym modelem operacyjnym. Funkcja ta istnieje, dla części organizacji jest uzasadnioną odpowiedzią i nie wchodzi w skład dystrybucji open source. Nie będziemy tu powtarzać jej szczegółów, bo należą one do dokumentacji producenta, ale jeśli Państwa wymagania zgodności wymagają w pełni wspieranej replikacji między klastrami, to właśnie o tym należy rozmawiać — a jako strategiczny partner MSP Broadcom dla RabbitMQ prowadzimy takie rozmowy regularnie.
Dla wszystkich pozostałych uczciwe ujęcie jest takie: DR dla RabbitMQ między regionami jest asynchroniczne, a praca projektowa polega na ograniczeniu ekspozycji i sprawieniu, by aplikacja była na nią obojętna.
Tabela decyzyjna: federacja czy Shovel
Wybór rzadko dotyczy całego środowiska naraz. Podejmuje się go dla każdego exchange'a i każdej kolejki osobno, w zależności od tego, co oznaczają komunikaty i co są w stanie tolerować konsumenci.
| Kryterium | Przemawia za federacją exchange'y | Przemawia za Shovel |
|---|---|---|
| Oczekiwane RPO | Sekundy, ograniczone opóźnieniem linku; kolejka upstream buforuje podczas przerwy | Sekundy; kolejka źródłowa buforuje podczas przerwy |
| Oczekiwane RTO | Niskie; klaster zapasowy ma już bindingi i bieżący ruch | Niskie do umiarkowanego; trzeba uruchomić konsumentów kolejek zapasowych |
| Active-active | Tak, linki dwukierunkowe z max-hops 1 | Niewygodne; wymaga ścisłej dyscypliny jednego kierunku na kolejkę |
| Active-passive | Tak, jeden kierunek, odwracany przy failbacku | Tak, to jego naturalne zastosowanie |
| Konsumenci w obu lokalizacjach | Wymagani; każda lokalizacja konsumuje własną kopię | Zwykle konsumuje jedna lokalizacja, druga utrzymuje bufor |
| Kolejność komunikatów | FIFO w obrębie linku na sprawnym połączeniu; nie po ponownym połączeniu | FIFO w obrębie shovela na sprawnym połączeniu; nie po ponownym połączeniu |
| Duplikaty | Możliwe po ponownym połączeniu przy on-confirm | Możliwe po ponownym połączeniu przy on-confirm |
| Zadania, które muszą wykonać się raz | Słabe dopasowanie; każda lokalizacja dostaje kopię | Dobre dopasowanie; komunikat jest przenoszony, przetwarza go jedna lokalizacja |
| Rozgłaszanie zdarzeń do wielu lokalizacji | Doskonałe dopasowanie | Słabe dopasowanie; jeden shovel na każde miejsce docelowe i każdą kolejkę |
| WAN o wysokich opóźnieniach lub stratny | Odporna; model pull, automatyczne ponawianie, strojenie prefetch-count | Odporny; ten sam model ponawiania, strojenie src-prefetch-count |
| Zmiany topologii | Automatycznie podąża za bindingami | Jawnie dla każdej kolejki, wymaga utrzymania |
Tabelę należy traktować jako ustawienia domyślne. Zdarzenia subskrybowane przez wiele usług, w przypadku których każdy region powinien widzieć każde zdarzenie, należą do sfederowanych exchange'y. Polecenia i zadania, które ma obsłużyć dokładnie jeden worker, należą do kolejek przetwarzanych lokalnie lub celowo przenoszonych shovelem do jednego miejsca docelowego.
Jak projektujemy RabbitMQ w wielu regionach: wzorcowy układ dla dwóch regionów
Klienci pytają „jak zaprojektować RabbitMQ w wielu regionach?”, oczekując jednego diagramu. Uczciwa odpowiedź to dwie nakładki na tę samą parę klastrów: jedna dla zdarzeń, druga dla zadań.
Weźmy dwa regiony: East jako główny i West jako zapasowy, z których każdy ma własny trzywęzłowy klaster z kolejkami kworum dla wszystkiego, co trwałe. Oba klastry mają identyczne definicje: exchange'e, kolejki, bindingi, polityki i użytkowników, eksportowane z East i nakładane na West przez pipeline wdrożeniowy, dzięki czemu rozbieżności są niemożliwe. Jeśli podstawowy układ exchange'y i bindingów nie jest jeszcze ustalony, omawia go nasz artykuł o exchange'ach, kolejkach i bindingach w mikroserwisach, a przewodnik po produkcyjnej architekturze RabbitMQ pokazuje, jak to wszystko wpisuje się w szerszy obraz.
Nakładka zdarzeń wykorzystuje federację exchange'y w obu kierunkach. Każdy exchange typu topic o nazwie events.* jest sfederowany — West jako downstream East i East jako downstream West — z max-hops ustawionym na 1. Usługi subskrybujące zdarzenia działają w obu regionach i konsumują z lokalnych kolejek powiązanych z lokalnym sfederowanym exchange'em. W normalnej pracy East publikuje niemal wszystko, West otrzymuje kopie, a jego subskrybenci je przetwarzają (modele odczytu, cache, indeksy wyszukiwania), natomiast link w przeciwnym kierunku pozostaje bezczynny. Ponieważ to bindingi decydują o tym, co przechodzi przez link, subskrybent istniejący tylko w East nie ściąga swojego ruchu do West.
W nakładce zadań swoją wartość pokazują shovele. Każda kolejka poleceń w East, na przykład orders.work, jest zasilana bindingiem z exchange'a orders.cmd. Drugi binding kieruje te same komunikaty do orders.work.dr — kolejki kworum z message-ttl dopasowanym do najdłuższego czasu, przez jaki zamówienie może zasadnie czekać na przetworzenie w East, zwykle od piętnastu do trzydziestu minut. Dynamiczny shovel z on-confirm nieustannie przenosi orders.work.dr do orders.work.standby w West, która ma ten sam TTL. W normalnej pracy nic nie konsumuje orders.work.standby; komunikaty trafiają do niej, starzeją się i znikają. Kolejka jest kroczącym oknem ostatnich zadań, a nie lustrem zaległości klastra głównego.
W normalnej pracy konsumenci poleceń działają wyłącznie w East. West ma gotowe wdrożenie, ale konsumenci poleceń są przeskalowani do zera, a subskrybenci zdarzeń działają. Publikujący łączą się przez nazwę DNS lub wpis globalnego load balancera wskazujący na East.
# Applied on both clusters via the definitions pipeline
rabbitmqctl set_policy --apply-to queues dr-window "^orders\.work\.(dr|standby)$" \
'{"message-ttl":1800000}'Jak przetrwać awarię regionu: failover i failback bez duplikatów i pętli
Pytanie „jak zapewnić, by komunikaty przetrwały awarię regionu?” rozkłada się na trzy momenty: samą awarię, decyzję o failoverze i failback.
W trakcie awarii pluginy nie wymagają uwagi. Link federacyjny West do East przestaje działać i ponawia próbę co pięć sekund. Shovel z East nie może się połączyć i ponawia próby. Subskrybenci zdarzeń w West nadal przetwarzają wszystko, co zostało już dostarczone. Komunikaty opublikowane w East w sekundach przed awarią, które nie zdążyły przejść przez link, utknęły tam do czasu powrotu East; to jest RPO i warstwa aplikacji musi wziąć za nie odpowiedzialność poprzez outbox po stronie publikującego lub ponowne odtworzenie danych z systemu źródłowego.
Failover to świadoma decyzja, a nie automatyczna reakcja. Widzieliśmy, jak automatyczny failover między regionami, wywołany chwilowym zakłóceniem w monitoringu, doprowadził do split-brainu konsumentów, którego uzgodnienie zajęło cały weekend. Runbook jest krótki: potwierdzić niezależnymi sondami, że East jest rzeczywiście niedostępny; przekierować wpis DNS lub load balancera publikujących na West; przeskalować konsumentów poleceń w West od zera w górę; potwierdzić, że opróżniają orders.work.standby. Wszystko w tej kolejce młodsze niż TTL zostanie przetworzone, co oznacza, że zadania, które East zdążył wykonać w ostatnim oknie, zostaną przetworzone ponownie. Tak ma być. Każdy konsument poleceń korzysta z klucza idempotencji, a TTL ogranicza ilość zduplikowanej pracy, jaką klaster zapasowy może kiedykolwiek zobaczyć.
West jest teraz klastrem głównym. Liczy się jego ruch events.*, a link federacyjny z East jako downstreamem przekaże go do East, gdy ten wróci. Polecenia w West trafiają do orders.work i są przetwarzane lokalnie, a ich kopia jest kierowana do orders.work.dr w West, gotowa na shovel w odwrotnym kierunku.
To przy failbacku powstają duplikaty i pętle, jeśli działa się w pośpiechu. Stosujemy następującą sekwencję: uruchomić East bez skierowanych na niego publikujących i z konsumentami poleceń przeskalowanymi do zera; pozwolić linkowi federacyjnemu z West do East opróżnić zaległości zdarzeń; utworzyć odwrotny shovel z on-confirm z orders.work.dr w West do orders.work.standby w East; następnie w spokojnym okresie przekierować publikujących na East, przeskalować konsumentów w East w górę, a w West w dół, i usunąć odwrotny shovel, ustawiając src-delete-after na queue-length, aby zakończył pracę po opróżnieniu kolejki. W żadnym momencie dwa shovele nie przenoszą tej samej kolejki w przeciwnych kierunkach i w żadnym momencie konsumenci poleceń nie działają w obu regionach na tej samej logicznej kolejce.
W nakładce zdarzeń pętle nie mogą powstać, ponieważ max-hops równe 1 i nagłówek x-received-from nie pozwalają komunikatowi, który przeszedł przez jeden link, wrócić z powrotem. W nakładce zadań pętle mogą powstać tylko wtedy, gdy ktoś skieruje shovel do exchange'a, którego bindingi zasilają kolejkę źródłową tego samego shovela. Zasada: shovel kierujemy do nazwanych kolejek docelowych, nigdy do exchange'a, który zasilał źródło.
Testy awarii do przeprowadzenia przed uruchomieniem produkcyjnym
Projekt DR, który nigdy nie był sprawdzony w praktyce, to hipoteza. Przeprowadzamy te testy z klientami przed pierwszym przełączeniem produkcyjnym i ponownie co kwartał.
Zablokować na firewallu port WAN między klastrami na trzydzieści minut i obserwować przyrost kolejki federacyjnej po stronie upstreamu oraz orders.work.dr. Potwierdzić, że ustawione message-ttl i expires rzeczywiście ograniczają przyrost i że żaden klaster nie zbliża się do progu alarmu dyskowego. Przywrócić link i zmierzyć, ile czasu zajmuje opróżnienie zaległości przy rzeczywistych ustawieniach prefetch.
Opublikować znaną liczbę ponumerowanych komunikatów, gdy link nie działa, przywrócić go i policzyć, co dotarło. To test, który wykrywa shovele z no-ack i linki z on-publish, ustawione przez kogoś „dla wydajności”.
Zrestartować — osobno — węzeł obsługujący link federacyjny i węzeł obsługujący shovel, a następnie potwierdzić, że oba zostały odtworzone gdzie indziej. Po każdym restarcie sprawdzić rabbitmqctl federation_status i rabbitmqctl shovel_status, zamiast rzucać okiem na interfejs zarządzania.
Wywołać alarm pamięci w klastrze zapasowym, celowo zapełniając kolejkę. Link federacyjny publikuje do downstreamu, więc alarm w downstreamie blokuje link dokładnie tak, jak każdego innego publikującego, a kolejka upstream zaczyna rosnąć. Potwierdzić, że alerty wychwytują zablokowany link, a nie tylko sam alarm.
Przeprowadzić pełny runbook failoveru na klastrze zapasowym z prawdziwymi konsumentami i syntetycznym ruchem, a następnie pełny failback. Policzyć duplikaty przetworzone w każdej fazie i potwierdzić, że warstwa idempotencji odrzuciła je wszystkie. Zmierzyć czas obu procedur i wpisać wyniki do runbooka, bo to są Państwa rzeczywiste wartości RTO.
Zrotować dane uwierzytelniające w URI upstreamów i shoveli i potwierdzić, że linki ponownie się łączą. Wygasłe dane uwierzytelniające federacji odkryte podczas prawdziwej awarii to scenariusz, który widzieliśmy więcej niż raz.
Błędy, które widzimy na produkcji
Najczęstszy błąd to traktowanie federacji jako replikacji i odkrycie w trakcie incydentu, że klaster zapasowy nie zawiera żadnej z nieskonsumowanych zaległości klastra głównego. Rozwiązanie jest architektoniczne: zadania, które muszą przetrwać, wymagają wzorca kolejki buforowej DR i shovela albo outboxa na poziomie aplikacji.
Tuż za nim plasuje się definicja upstreamu bez message-ttl i bez expires. Wewnętrzna kolejka federacyjna w upstreamie jest trwała i rośnie przez cały czas długiej przerwy w linku, aż upstream osiągnie alarm dyskowy i przestanie przyjmować publikacje od wszystkich, zamieniając problem klastra zapasowego w awarię klastra głównego.
Shovele ustawione na no-ack lub on-publish, bo benchmark wykazał wyższą przepustowość. Przepustowość jest prawdziwa, utrata komunikatów również. Jeśli shovel ma działać szybciej, należy zwiększyć src-prefetch-count i pozostawić on-confirm.
Dwukierunkowe shovele na tej samej kolejce, zwykle tworzone podczas pospiesznego failbacku i nigdy nieusunięte. Przerzucają te same komunikaty tam i z powrotem, dopóki ktoś nie zauważy liczników.
Pojedyncza nazwa hosta w URI upstreamu. Gdy to właśnie ten węzeł uległ awarii, link klastra zapasowego nie ma dokąd się połączyć, mimo że reszta klastra głównego działa poprawnie. Należy podać listę URI lub adres load balancera, który sprawdza stan węzłów.
Rozbieżności definicji między regionami. Kolejka istniejąca w East, ale nie w West, zostawia shovel w pętli ponawiania albo, co gorsza, publikujący do exchange'a bez bindingów, gdzie komunikaty są odrzucane. Definicje należy eksportować z klastra głównego i nakładać na zapasowy w pipelinie, który wdraża aplikację.
Brak monitorowania stanu linków. Nikt nie patrzy na interfejs zarządzania o trzeciej w nocy. Należy eksportować federation_status i shovel_status do pipeline'u metryk i alarmować o każdym linku, który nie jest w stanie running dłużej niż opóźnienie ponownego połączenia.
Wreszcie TTL rekordów DNS i pule połączeń, które utrzymują publikujących przy uszkodzonym regionie długo po zmianie rekordu. Biblioteki klienckie łączą się ponownie z adresem rozwiązanym przy starcie, chyba że skonfiguruje się je inaczej, więc runbook failoveru musi obejmować restart klientów albo klienci muszą mieć skonfigurowane endpointy obu regionów.
Co dalej
Ten artykuł celowo skupia się na połączeniu między klastrami. Kwestie rozmiaru poszczególnych klastrów, rozmieszczenia węzłów w strefach dostępności i ustawień kolejek kworum omawia nasz przewodnik po HA, DR i doborze rozmiaru klastrów RabbitMQ. Topologię komunikacji, na której opierają się nakładki federacji i Shovel, opisuje artykuł exchange'e, kolejki i bindingi w mikroserwisach, a pełny kształt wdrożenia korporacyjnego przedstawia przewodnik po produkcyjnej architekturze RabbitMQ.
Jeśli używają Państwo na produkcji RabbitMQ od 3.8.x do 4.x i chcą mieć drugi region, który faktycznie przeszedł failover i failback, a nie tylko został narysowany na tablicy, wsparcie techniczne RabbitMQ od AceMQ zapewnia docelowe czasy reakcji od 15 minut, zależnie od planu, ze strony inżynierów, którzy już to robili, a w ramach doradztwa RabbitMQ projektujemy, budujemy i testujemy takie rozwiązanie razem z Państwa zespołem, zanim będzie musiało zadziałać naprawdę.
Miejsce tej decyzji w całym projekcie — oddzielenie HA od DR, kopie zapasowe definicji, cele odtwarzania i test failoveru — opisuje przewodnik po disaster recovery dla RabbitMQ.
FAQ
Federacja czy Shovel w RabbitMQ — co wybrać do DR?
Federacji exchange'y należy używać dla ruchu zdarzeń, który ma trafiać do każdego regionu, ponieważ automatycznie podąża za bindingami, toleruje przerwy w połączeniu dzięki buforowi po stronie upstreamu i bezpiecznie obsługuje połączenia dwukierunkowe przy max-hops ustawionym na 1. Dynamicznych shoveli z on-confirm należy używać dla kolejek zadań, w których każdy komunikat ma być przetworzony w dokładnie jednym regionie, ponieważ shovel przenosi komunikaty do wskazanego miejsca docelowego, zamiast je kopiować. Większość produkcyjnych projektów DR wykorzystuje oba mechanizmy: federację dla warstwy zdarzeń, a shovele dla kroczącego bufora DR z ostatnimi poleceniami. Żaden z nich nie jest replikacją, dlatego trzeba je łączyć z idempotentnymi konsumentami i wzorcem outbox po stronie publikującego.
Czy federacja RabbitMQ nadaje się do disaster recovery?
Nadaje się do projektów DR, które akceptują asynchroniczne dostarczanie i ograniczone okno utraty lub duplikacji komunikatów. Federacja stale zasila region zapasowy zdarzeniami, dla których ma bindingi, buforuje je po stronie upstreamu podczas przerwy w połączeniu i automatycznie odtwarza połączenia. Nie kopiuje nieskonsumowanych zaległości w kolejkach, nie replikuje synchronicznie i nie działa jak lustro. Jeśli wymaganie brzmi: region zapasowy ma zawierać dokładnie to, co główny w chwili awarii, open source'owa federacja go nie spełni i należy rozważyć komercyjną funkcję replikacji warm standby albo outbox na poziomie aplikacji.
Jak zaprojektować RabbitMQ w wielu regionach?
Należy uruchomić niezależny klaster w każdym regionie z identycznymi definicjami wdrażanymi z jednego pipeline'u. Exchange'e zdarzeń należy federować w obu kierunkach z max-hops równym 1, aby subskrybenci w każdym regionie konsumowali lokalne kopie. Dla kolejek zadań warto dodać w regionie głównym kolejkę kopii DR z TTL komunikatów dopasowanym do akceptowalnego okna ponownego przetwarzania i przenosić ją shovelem z on-confirm do kolejki zapasowej, której nikt nie konsumuje aż do failoveru. Konsumenci poleceń powinni działać w danym momencie tylko w jednym regionie, publikujący powinni łączyć się przez przełączalny wpis DNS lub load balancera, a failover powinien być świadomym krokiem runbooka, a nie automatycznym wyzwalaczem.
Jak zapewnić, by komunikaty przetrwały awarię regionu?
Komunikaty przetrwają, ponieważ są buforowane po tej stronie przerwanego połączenia, po której się akurat znajdują, a następnie dostarczane, gdy połączenie wróci. Federacja buforuje je w kolejce po stronie upstreamu ograniczonej przez message-ttl i expires; shovel buforuje je w swojej kolejce źródłowej. Komunikaty potwierdzone przez region główny tuż przed awarią, ale jeszcze niewysłane, stanowią resztkowe RPO i tę lukę zamyka wyłącznie outbox po stronie publikującego lub ponowne odtworzenie danych z systemu źródłowego. Konsumenci muszą być idempotentni, ponieważ oba pluginy przy ponownym połączeniu dostarczają komunikaty co najmniej raz, a failover celowo przetwarza ponownie okno DR.
Czy tryb potwierdzeń (ack mode) shovela naprawdę ma znaczenie dla disaster recovery?
To ustawienie decyduje o tym, czy shovel może zgubić komunikaty. Przy on-confirm komunikat źródłowy jest potwierdzany dopiero po potwierdzeniu go przez miejsce docelowe, więc awaria w najgorszym razie powoduje duplikat. Przy on-publish potwierdzenie źródła następuje przed potwierdzeniem w miejscu docelowym, więc awaria miejsca docelowego w tej chwili oznacza utratę komunikatu. Przy no-ack przy każdej awarii ginie cała zawartość bufora prefetch shovela. Ruch DR powinien zawsze używać on-confirm; jeśli problemem jest przepustowość, należy zwiększyć prefetch count źródła, zamiast osłabiać tryb potwierdzeń.
Czy RabbitMQ może synchronicznie replikować kolejkę do innego regionu?
Nie za pomocą open source'owych pluginów federacji i Shovel, które są asynchronicznymi konsumentami działającymi za ścieżką potwierdzeń regionu głównego. Synchroniczna replikacja w RabbitMQ to właściwość kolejek kworum w obrębie klastra — zapisują one komunikat u większości członków przed potwierdzeniem. Rozciąganie jednego klastra na kilka regionów, aby uzyskać takie zachowanie, nie jest wspierane i przy opóźnieniach WAN działa źle. Komercyjna dystrybucja Tanzu RabbitMQ oferuje funkcję replikacji warm standby między klastrami; we wszystkich pozostałych przypadkach DR między regionami należy traktować jako asynchroniczne i projektować aplikację tak, aby tolerowała wynikające z tego okno.
Talk to an engineer
Need a hand with RabbitMQ?
Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.
Poradniki, porównania i analizy


