RabbitMQ

RabbitMQ na Kubernetes i OpenShift: praktyczny przewodnik wdrożeniowy

Scott Sternloff

Autor: Scott Sternloff, Starszy architekt korporacyjny

LinkedIn · Aktualizacja:

K8sStatefulSet · 3 ReplicasKubernetes & OpenShift
Na tej stronie
Uruchamianie RabbitMQ na Kubernetes lub OpenShift jest coraz popularniejsze – i coraz częściej staje się źródłem operacyjnych niespodzianek dla zespołów, które zakładają, że Kubernetes po prostu poradzi sobie ze złożonością. Nie poradzi – przynajmniej nie bez zrozumienia, jak mechanizmy kworum RabbitMQ współdziałają z zarządzaniem cyklem życia podów w Kubernetes.
Ten przewodnik omawia kluczowe wzorce wdrożeniowe, konkretne pułapki prowadzące do incydentów produkcyjnych oraz sposób zorganizowania wdrożenia RabbitMQ na Kubernetes tak, by działało niezawodnie.

Jak wdrożyć RabbitMQ na Kubernetes?

Standardowym podejściem jest RabbitMQ Cluster Operator – oficjalny operator Kubernetes utrzymywany przez Broadcom. Operator odpowiada za:
  • Wdrożenie RabbitMQ jako StatefulSetu z właściwym nazewnictwem podów i stabilnymi tożsamościami sieciowymi
  • Zarządzanie PersistentVolumeClaimami (PVC) dla danych każdego węzła klastra
  • Obsługę członkostwa w klastrze, wykrywania węzłów i Erlang cookie
  • Udostępnienie niestandardowego zasobu RabbitmqCluster do deklaratywnej konfiguracji klastra
W przypadku OpenShift ten sam operator działa po dodatkowej konfiguracji SCC (Security Context Constraints). AceMQ wspiera też wdrożenia na RKE2, AKS, ACK i innych zarządzanych odmianach Kubernetes.
Minimalna konfiguracja klastra: trzy węzły, każdy na osobnym węźle roboczym Kubernetes (wymuszone regułami pod anti-affinity). Uruchomienie dwóch podów RabbitMQ na tym samym węźle roboczym niweczy wysoką dostępność.

Czym jest termination grace period i dlaczego ma znaczenie?

RabbitMQ Cluster Operator zawiera hook pre-stop z domyślnym okresem karencji przy zamykaniu (termination grace period) wynoszącym 604 800 sekund (tydzień). To nie pomyłka – to mechanizm bezpieczeństwa.
Zanim pod RabbitMQ się wyłączy, hook pre-stop sprawdza, czy któraś z kolejek, których liderem jest ten pod, znajduje się w stanie krytycznym dla kworum – czyli czy wyłączenie poda sprowadziłoby jedną lub więcej kolejek poniżej kworum. Jeśli tak, pod odmawia zakończenia działania, dopóki kworum nie zostanie przywrócone.

"Hook pre-stop sprawdza, czy żadna z kolejek nie jest w stanie krytycznym dla kworum, zanim pozwoli podowi się zakończyć. Chroni kworum. Ale gdy zmniejsza się liczbę replik z trzech do zera, powstaje zakleszczenie – bo wyłączenie jednego poda sprawia, że kworum staje się krytyczne, co uniemożliwia zakończenie tego poda, a to z kolei uniemożliwia wyłączenie klastra."

— Scott Sternloff, Principal Architect w AceMQ, sesja w ramach projektu dla Adeptia, kwiecień 2026

Jak bezpiecznie przeskalować klaster RabbitMQ do zera na Kubernetes?

Bezpieczna procedura skalowania do zera wymaga dwóch kroków wykonanych po kolei, a nie jednocześnie:
Krok 1: skrócić termination grace period do 30 sekund:
kubectl patch rabbitmqcluster <cluster-name> -n <namespace> \
  --type merge \
  -p '{"spec": {"terminationGracePeriodSeconds": 30}}'
Krok 2: gdy ta zmiana zacznie obowiązywać, przeskalować repliki do zera:
kubectl patch rabbitmqcluster <cluster-name> -n <namespace> \
  --type merge \
  -p '{"spec": {"replicas": 0}}'
Po ponownym uruchomieniu klastra należy przywrócić domyślny okres karencji:
kubectl patch rabbitmqcluster <cluster-name> -n <namespace> \
  --type merge \
  -p '{"spec": {"replicas": 3, "terminationGracePeriodSeconds": 604800}}'

Co się dzieje, gdy węzeł Kubernetes jest opróżniany (drain) podczas aktualizacji klastra?

Gdy aktualizacja klastra Kubernetes opróżnia węzeł, pody na tym węźle są zamykane. Jeśli na opróżnianym węźle działa pod RabbitMQ, a jego kolejki są w stanie krytycznym dla kworum, pod utknie w stanie Terminating – blokując drain węzła i aktualizację, co wymaga ręcznej interwencji.

"Wasi klienci mają zautomatyzowany proces aktualizacji klastra. W danym momencie może zostać wyłączony jeden węzeł. A ponieważ pod RabbitMQ działający na tym węźle odmawia zakończenia z powodu ochrony kworum, nie pozwala opróżnić węzła. Proces aktualizacji się zawiesza."

— Scott Sternloff, Principal Architect w AceMQ, sesja z Adeptia, kwiecień 2026

Rozwiązania:
  1. Skracać domyślny termination grace period przed oknami automatycznych aktualizacji i przywracać go po nich
  2. Ustawić licznik watchdog: jeśli pod nie zakończy działania w ciągu N sekund od otrzymania SIGTERM, usunąć go siłowo (ostrożnie)
  3. Stosować pod disruption budgets (PDB): PDB dopuszczający niedostępność co najwyżej jednego poda naraz gwarantuje, że Kubernetes uszanuje ograniczenia kworum podczas drainu węzłów

Docelowe czasy reakcji od 15 minut, zależnie od planu. Przypisani starsi inżynierowie.

Kontakt

Czego nigdy nie robić z podami RabbitMQ na Kubernetes?

Nigdy nie usuwać siłowo poda RabbitMQ bez zrozumienia wpływu na kworum. Siłowe usunięcie (kubectl delete pod --force --grace-period=0) całkowicie omija hook pre-stop. Jeśli siłowo usuwany pod jest liderem kworum dla którejkolwiek kolejki, kolejki te natychmiast tracą kworum.
Nigdy nie uruchamiać dwóch podów RabbitMQ na tym samym węźle Kubernetes. Reguły anti-affinity powinny to wymuszać automatycznie, ale warto sprawdzić, czy ich konfiguracja jest poprawna.
Nigdy nie zmniejszać liczby replik z 3 bez wcześniejszego sprawdzenia kondycji kworum.
kubectl exec -n <namespace> <rabbitmq-pod> -- rabbitmq-diagnostics check_running
kubectl exec -n <namespace> <rabbitmq-pod> -- rabbitmq-queues check_if_node_is_quorum_critical
Jeśli którakolwiek kolejka jest zgłaszana jako krytyczna dla kworum, przed dalszym zmniejszaniem skali należy poczekać, aż się odbuduje.

Pamięć masowa i monitoring

Każdy pod RabbitMQ wymaga PersistentVolumeClaim. W środowisku produkcyjnym:
  • Używać StorageClass z volumeBindingMode: WaitForFirstConsumer, aby pody i ich wolumeny trafiały do tej samej strefy dostępności
  • Zdecydowanie zalecana jest pamięć SSD lub NVMe – zapisy WAL kolejek kworum są wrażliwe na opóźnienia
  • Ustawić politykę retencji PVC na Retain, aby dane przetrwały usunięcie poda
  • Nie używać współdzielonej pamięci masowej (NFS, współdzielone systemy plików) dla wolumenów danych RabbitMQ
Kluczowe metryki do śledzenia we wdrożeniach na Kubernetes:
  • rabbitmq_quorum_queue_stat_voters – weryfikacja, czy kworum jest utrzymywane między węzłami
  • Liczba restartów podów – częste restarty wskazują na problemy z kworum lub zasobami
  • Pojemność PVC – monitorowanie zajętości dysku na PVC każdego poda
  • rabbitmq_node_disk_free – alert, zanim zadziała alarm dyskowy
Jeśli planują Państwo nowe wdrożenie, migrację istniejącego klastra na Kubernetes albo mierzą się z problemami związanymi z aktualizacjami, prosimy o kontakt ze wsparciem AceMQ w sprawie architektury wdrożenia lub bezpośredniego wsparcia.

Obrazy bazowe to w takich wdrożeniach powracające pytanie o bezpieczeństwo łańcucha dostaw – zob. bezpieczeństwo obrazów Bitnami i alternatywy dla firm.

RabbitMQ na Kubernetes czy na maszynach wirtualnych: jak zdecydować

RabbitMQ dobrze działa w obu środowiskach. O wyborze decyduje to, kto utrzymuje platformę, i to, jak wygląda pamięć masowa pod spodem.

  • Kto to utrzymuje. Jeśli zespół platformowy już uruchamia obciążenia stanowe na Kubernetes, a operator, PodDisruptionBudgety i aktualizacje StatefulSetów to jego codzienność, RabbitMQ jest po prostu kolejnym StatefulSetem. Jeśli zespół infrastruktury dobrze radzi sobie z maszynami wirtualnymi, a na Kubernetes działają tylko bezstanowe aplikacje, umieszczenie tam brokera oznacza, że zespół od komunikacji będzie poznawał tryby awarii Kubernetes na systemie produkcyjnym.
  • Pamięć masowa. Kolejki kworum i strumienie wykonują fsync przy każdej porcji zapisów. Na maszynie wirtualnej z lokalnym NVMe trwa to poniżej milisekundy. Na Kubernetes domyślnie używany jest sieciowy PersistentVolume i każdy fsync przechodzi przez sieć pamięci masowej. Na chmurowej pamięci blokowej widzimy zwykle od 2 do 5 ms na fsync, co przekłada się bezpośrednio na opóźnienie potwierdzeń wydawców w kolejkach kworum. Istnieją provisionery lokalnych PV, ale przypinają poda do węzła. Artykuł kolejki klasyczne a kolejki kworum wyjaśnia, dlaczego kolejki kworum są na to wrażliwsze niż klasyczne.
  • Aktualizacje. Kubernetes wykonuje kroczący restart StatefulSetu, po jednym podzie naraz, a operator przed każdym krokiem czeka na kworum. Na maszynach wirtualnych aktualizuje się w miejscu, węzeł po węźle, według własnego harmonogramu. Wariant na Kubernetes jest bardziej zautomatyzowany i mniej wyrozumiały dla błędnych założeń.
  • Domeny awarii. Na Kubernetes węzły są opróżniane, pody eksmitowane, a autoskaler odbiera pojemność bez pytania. PDB i pod anti-affinity to jedyne, co stoi między rutynowym drainem a utratą kworum. Maszyny wirtualne psują się rzadziej i według kontrolowanego harmonogramu, ale za to boleśniej – nie ma schedulera, który uruchomiłby broker gdzie indziej.
  • Sieć. Pody dostają nazwy hostów z headless service i adresy IP, które zmieniają się przy każdym restarcie. Klienci łączą się przez Service lub ingress i muszą poprawnie się ponownie łączyć, bo będą rozłączani. Wszystko, co przypina adres IP brokera, przestaje działać. Na maszynach wirtualnych nazwy hostów pozostają stałe latami, a błędy ponownego łączenia klientów pozostają ukryte.
  • Licencjonowanie. Tanzu RabbitMQ, dystrybucja komercyjna, jest pakowana przede wszystkim pod Kubernetes, a obok dostępny jest obraz maszyny wirtualnej. RabbitMQ open source działa wszędzie.

Nasza rekomendacja: maszyny wirtualne, gdy zespół jest mały, a dominują obciążenia kolejek kworum wrażliwe na opóźnienia. Kubernetes, gdy jest zespół platformowy, używany operator, a reszta środowiska już tam działa. W naszych projektach podział jest mniej więcej równy, a wdrożenia na Kubernetes, które idą źle, to niemal zawsze te, na które zdecydowano się dlatego, że Kubernetes był pod ręką, a nie dlatego, że ktoś był gotów utrzymywać na nim obciążenia stanowe.

Operator, chart Helm czy ręcznie pisany StatefulSet

RabbitMQ Cluster Kubernetes Operator to opcja utrzymywana upstream i ta, którą wybieramy domyślnie. Deklaruje się zasób RabbitmqCluster, a operator tworzy StatefulSet, headless service do wykrywania węzłów, Service dla klientów, sekrety z Erlang cookie i użytkownikiem domyślnym oraz konfigurację serwera. Obsługuje kroczące restarty z hookiem preStop, który przed wyłączeniem węzła czeka na stan kworum plus jeden, i podłącza TLS z wskazanego sekretu. Sam nie tworzy PodDisruptionBudget; trzeba go dodać z maxUnavailable: 1. Obok niego Messaging Topology Operator zamienia użytkowników, vhosty, uprawnienia, kolejki, exchange'e, powiązania, polityki, shovele i upstreamy federacji w CRD, dzięki czemu topologia trafia do Gita obok definicji klastra.

Minimalny klaster w kształcie produkcyjnym:

apiVersion: rabbitmq.com/v1beta1
kind: RabbitmqCluster
metadata:
  name: orders
spec:
  replicas: 3
  resources:
    requests:
      cpu: "2"
      memory: 8Gi
    limits:
      cpu: "2"
      memory: 8Gi
  persistence:
    storageClassName: fast-ssd
    storage: 100Gi
  rabbitmq:
    additionalConfig: |
      cluster_partition_handling = pause_minority
      vm_memory_high_watermark.relative = 0.6
      disk_free_limit.absolute = 5GB

W RabbitMQ 4.3 i nowszych należy usunąć wiersz cluster_partition_handling: wersja 4.3.0 usunęła strategie obsługi partycji sieciowych i ten klucz nie ma żadnego efektu. Wartości requests powinny być równe limits. Operator wylicza nadpisanie limitu pamięci RabbitMQ z ustawienia pamięci poda, więc próg high watermark i limit cgroup są zgodne. Należy dodać spec.affinity z pod anti-affinity między węzłami, a jeśli są dostępne – między strefami.

  • Społecznościowe charty Helm generują z szablonu StatefulSet wraz z usługami, konfiguracją i sekretami w jednym helm install. Wystarczą, by postawić klaster. Po instalacji nie robią nic: brak uporządkowanej kroczącej aktualizacji czekającej na kworum, brak zarządzania topologią, a każde helm upgrade nadpisuje StatefulSet w nadziei, że się uda. Jeśli wszystko standaryzują Państwo na Helmie, lepiej uruchomić operatora i zarządzać zasobem RabbitmqCluster za pomocą chartu.
  • Ręcznie pisany StatefulSet da się obronić w dwóch przypadkach: w klastrze, w którym nie wolno instalować CRD ani operatorów o zasięgu klastra, albo gdy zespół ma już sprawdzony wzorzec StatefulSetu dla innych systemów stanowych i chce, by RabbitMQ do niego pasował. Bierze się wtedy na siebie wszystko powyższe: konfigurację wykrywania węzłów, hook preStop do opróżniania, strojenie sond, rotację sekretów i choreografię aktualizacji. Błąd, który najczęściej dziedziczymy, to aktualizacja, która zrestartowała dwa pody naraz.

Tryby awarii na Kubernetes, z którymi się do nas zgłaszają

  • Drain zabrał lidera kworum, a PDB na to pozwolił. Objaw: wydawcy blokują się na potwierdzeniach przez 10 do 30 sekund podczas rutynowej aktualizacji węzła albo kolejka zgłasza brak lidera, bo dwie z trzech replik nie działają. Przyczyna: brak PDB lub PDB dopuszczający niedostępność więcej niż jednego poda, w połączeniu z aktualizacją klastra, która opróżnia węzły szybciej, niż kolejki kworum zdążą wybrać lidera i nadrobić zaległości. Rozwiązanie: PDB z maxUnavailable: 1, pod anti-affinity, aby repliki nigdy nie dzieliły węzła, oraz hook preStop operatora (albo własne rabbitmq-upgrade await_online_quorum_plus_one), aby drain czekał.
  • Ponowne podłączanie PV po awarii węzła. Objaw: po awarii węzła jego pod RabbitMQ przez sześć minut lub dłużej tkwi w stanie ContainerCreating z błędem Multi-Attach albo konfliktem node affinity wolumenu. Przyczyna: pamięć blokowa powiązana ze strefą może zostać podłączona tylko w swojej strefie, a podłączenie do martwego węzła nie zostaje zwolnione, dopóki kontroler węzłów go nie odpuści. Rozwiązanie: jeśli anti-affinity rozłożyło repliki, klaster działa dalej na dwóch z trzech, więc nie trzeba z tym walczyć. Należy używać klasy pamięci z WaitForFirstConsumer, aby wolumen trafiał do strefy poda, i traktować okno ponownego podłączania jako znany koszt pamięci sieciowej.
  • OOMKilled, zanim zadziała kontrola przepływu. Objaw: pod restartuje się z kodem wyjścia 137 bez żadnego błędu RabbitMQ w logu; alarm pamięci nigdy się nie uruchomił. Przyczyna: limit pamięci kontenera jest niższy niż próg, przy którym zadziałałby high watermark – albo dlatego, że RabbitMQ odczytał pamięć hosta zamiast limitu cgroup, albo dlatego, że próg nie zostawia zapasu na alokatory maszyny wirtualnej Erlanga i stertę binarną. Rozwiązanie: requests równe limits, próg zostawiający 20 do 30 procent zapasu poniżej limitu oraz rabbitmq-diagnostics memory_breakdown, aby potwierdzić, że łączna pamięć widziana przez RabbitMQ odpowiada podowi.
  • Restarty przez liveness probe w trakcie odtwarzania. Objaw: po nieczystym restarcie węzeł z dużymi kolejkami wpada w CrashLoopBackOff, a każda próba dochodzi nieco dalej w odbudowie indeksów, zanim kubelet ją zabije. Przyczyna: liveness probe wykonująca rabbitmq-diagnostics check_running lub podobne polecenie zawodzi, gdy węzeł odtwarza Mnesia lub Khepri i odbudowuje indeksy kolejek, co na dużym węźle trwa dłużej niż próg niepowodzeń sondy. Rozwiązanie: startup probe z hojnym failureThreshold, readiness probe tylko na porcie 5672 i żadnej agresywnej liveness probe. Właśnie dlatego operator jest dostarczany bez liveness probe.
  • Zmiana DNS lub headless service zepsuła wykrywanie węzłów. Objaw: pody startują, ale każdy tworzy jednoosobowy klaster albo w ogóle nie chce się uruchomić, bo katalog danych należy do węzła o innej nazwie. Przyczyna: nazwy węzłów wynikają z nazwy hosta poda i headless service, więc zmiana nazwy usługi, przestrzeni nazw lub domeny DNS klastra zmienia nazwę każdego węzła i osieroca dane na dysku. Rozwiązanie: nie zmieniać nazw. Jeśli zmiana jest nieunikniona, należy traktować ją jak migrację do nowego klastra: wyeksportować definicje, przenieść komunikaty za pomocą Shovel lub opróżnić kolejki i przełączyć klientów.

Szerszą listę tego, co się psuje, gdy komunikacja trafia na Kubernetes, zawiera artykuł co psuje się w komunikacji na Kubernetes. O tym, co obserwować, by te problemy przychodziły jako alerty, a nie zgłoszenia, piszemy w artykule monitoring RabbitMQ na Kubernetes. Jeśli wolą Państwo kogoś, kto już to naprawiał, zapraszamy do naszego doradztwa w zakresie Kubernetes i kontenerów oraz wsparcia technicznego RabbitMQ.

Pełną sekwencję – czy Kubernetes jest właściwym miejscem, operator, klasy pamięci masowej, polityki sieciowe, requests i limits, monitoring i aktualizacje kroczące – opisuje przewodnik po RabbitMQ na Kubernetes.

FAQ

Uruchamiać RabbitMQ na Kubernetes czy na maszynach wirtualnych?

Obie opcje działają. Maszyny wirtualne sprawdzą się, gdy zespół jest mały, obciążenie opiera się na kolejkach kworum lub strumieniach z rygorystycznymi wymaganiami co do opóźnień potwierdzeń wydawców (publisher confirms), a Państwo nie utrzymują jeszcze obciążeń stanowych na Kubernetes. Kubernetes sprawdzi się, gdy jest zespół platformowy, korzystają Państwo z Cluster Operator, a aplikacje komunikujące się z brokerem już tam działają. Problemy sprawia pamięć masowa: wolumeny sieciowe dodają milisekundy do każdego fsync, a kolejki kworum wykonują fsync nieustannie. Dla klientów utrzymujemy oba warianty. Żaden z nich nie jest zły sam w sobie; błędem jest wybór Kubernetes bez nikogo, kto byłby gotów go utrzymywać.

Którego operatora Kubernetes dla RabbitMQ używać?

RabbitMQ Cluster Kubernetes Operator, utrzymywanego upstream przez zespół RabbitMQ, w parze z Messaging Topology Operator. Cluster Operator zarządza zasobem RabbitmqCluster: StatefulSetem, usługami, sekretami, konfiguracją, TLS oraz kroczącymi restartami uwzględniającymi kworum. Topology Operator zarządza użytkownikami, vhostami, kolejkami, exchange'ami, powiązaniami i politykami jako zasobami Kubernetes, dzięki czemu topologia trafia do Gita. PodDisruptionBudget trzeba dodać samodzielnie. Charty Helm wystarczą do pierwszej instalacji, ale potem niczym nie zarządzają. Ręcznie pisany StatefulSet ma sens tylko tam, gdzie CRD są niedozwolone.

Czy RabbitMQ dobrze działa na OpenShift?

Tak. Uruchamiamy RabbitMQ na OpenShift dla klientów korporacyjnych, obok EKS, AKS i GKE. Cluster Operator instaluje się z OperatorHub, a jego pody działają w ramach restrykcyjnego SCC, o ile kontekst bezpieczeństwa poda pozostawi się OpenShift zamiast ustawiać go w operatorze – co umożliwia spec.override. Od czystego Kubernetes różnią się Routes zamiast Ingress dla AMQP po TLS, uprawnienia wolumenów wynikające z SCC oraz własny cykl aktualizacji węzłów OpenShift, przez który powyższe zalecenia dotyczące PDB i anti-affinity stają się obowiązkowe, a nie tylko mile widziane.

Ile replik RabbitMQ powinien mieć klaster na Kubernetes?

Trzy, rozłożone na różne węzły, a najlepiej także strefy, za pomocą pod anti-affinity. Trzy repliki tolerują utratę jednej przy zachowaniu większości w kolejkach kworum, a utratę jednej powoduje właśnie drain, awaria węzła czy krok aktualizacji. Pięć ma sens tylko wtedy, gdy trzeba jednocześnie przetrwać awarię strefy i prace serwisowe. Nigdy dwie: kolejki kworum wymagają większości, a dwa węzły tracą ją przy każdej pojedynczej awarii. Skalowanie przepustowości to kwestia niezależna od liczby replik, a wymiarowanie opisuje artykuł HA, DR i wymiarowanie klastra.

Bezpłatna konsultacja

Ekspercka ocena: Klaster RabbitMQ

Niezależnie od tego, czy rozwiązują Państwo incydent produkcyjny, planują migrację, czy chcą poznać drugą opinię o architekturze – nasz zespół jest gotowy. Bez sprzedażowych prezentacji, same odpowiedzi.

Napisz do nas