Na tej stronie
Jak wdrożyć RabbitMQ na Kubernetes?
- Wdrożenie RabbitMQ jako StatefulSetu z właściwym nazewnictwem podów i stabilnymi tożsamościami sieciowymi
- Zarządzanie PersistentVolumeClaimami (PVC) dla danych każdego węzła klastra
- Obsługę członkostwa w klastrze, wykrywania węzłów i Erlang cookie
- Udostępnienie niestandardowego zasobu RabbitmqCluster do deklaratywnej konfiguracji klastra
Czym jest termination grace period i dlaczego ma znaczenie?
"Hook pre-stop sprawdza, czy żadna z kolejek nie jest w stanie krytycznym dla kworum, zanim pozwoli podowi się zakończyć. Chroni kworum. Ale gdy zmniejsza się liczbę replik z trzech do zera, powstaje zakleszczenie – bo wyłączenie jednego poda sprawia, że kworum staje się krytyczne, co uniemożliwia zakończenie tego poda, a to z kolei uniemożliwia wyłączenie klastra."
— Scott Sternloff, Principal Architect w AceMQ, sesja w ramach projektu dla Adeptia, kwiecień 2026
Jak bezpiecznie przeskalować klaster RabbitMQ do zera na Kubernetes?
kubectl patch rabbitmqcluster <cluster-name> -n <namespace> \
--type merge \
-p '{"spec": {"terminationGracePeriodSeconds": 30}}'kubectl patch rabbitmqcluster <cluster-name> -n <namespace> \
--type merge \
-p '{"spec": {"replicas": 0}}'kubectl patch rabbitmqcluster <cluster-name> -n <namespace> \
--type merge \
-p '{"spec": {"replicas": 3, "terminationGracePeriodSeconds": 604800}}'Co się dzieje, gdy węzeł Kubernetes jest opróżniany (drain) podczas aktualizacji klastra?
"Wasi klienci mają zautomatyzowany proces aktualizacji klastra. W danym momencie może zostać wyłączony jeden węzeł. A ponieważ pod RabbitMQ działający na tym węźle odmawia zakończenia z powodu ochrony kworum, nie pozwala opróżnić węzła. Proces aktualizacji się zawiesza."
— Scott Sternloff, Principal Architect w AceMQ, sesja z Adeptia, kwiecień 2026
- Skracać domyślny termination grace period przed oknami automatycznych aktualizacji i przywracać go po nich
- Ustawić licznik watchdog: jeśli pod nie zakończy działania w ciągu N sekund od otrzymania SIGTERM, usunąć go siłowo (ostrożnie)
- Stosować pod disruption budgets (PDB): PDB dopuszczający niedostępność co najwyżej jednego poda naraz gwarantuje, że Kubernetes uszanuje ograniczenia kworum podczas drainu węzłów
Czego nigdy nie robić z podami RabbitMQ na Kubernetes?
kubectl delete pod --force --grace-period=0) całkowicie omija hook pre-stop. Jeśli siłowo usuwany pod jest liderem kworum dla którejkolwiek kolejki, kolejki te natychmiast tracą kworum.kubectl exec -n <namespace> <rabbitmq-pod> -- rabbitmq-diagnostics check_running
kubectl exec -n <namespace> <rabbitmq-pod> -- rabbitmq-queues check_if_node_is_quorum_criticalPamięć masowa i monitoring
- Używać StorageClass z volumeBindingMode: WaitForFirstConsumer, aby pody i ich wolumeny trafiały do tej samej strefy dostępności
- Zdecydowanie zalecana jest pamięć SSD lub NVMe – zapisy WAL kolejek kworum są wrażliwe na opóźnienia
- Ustawić politykę retencji PVC na Retain, aby dane przetrwały usunięcie poda
- Nie używać współdzielonej pamięci masowej (NFS, współdzielone systemy plików) dla wolumenów danych RabbitMQ
rabbitmq_quorum_queue_stat_voters– weryfikacja, czy kworum jest utrzymywane między węzłami- Liczba restartów podów – częste restarty wskazują na problemy z kworum lub zasobami
- Pojemność PVC – monitorowanie zajętości dysku na PVC każdego poda
rabbitmq_node_disk_free– alert, zanim zadziała alarm dyskowy
Obrazy bazowe to w takich wdrożeniach powracające pytanie o bezpieczeństwo łańcucha dostaw – zob. bezpieczeństwo obrazów Bitnami i alternatywy dla firm.
RabbitMQ na Kubernetes czy na maszynach wirtualnych: jak zdecydować
RabbitMQ dobrze działa w obu środowiskach. O wyborze decyduje to, kto utrzymuje platformę, i to, jak wygląda pamięć masowa pod spodem.
- Kto to utrzymuje. Jeśli zespół platformowy już uruchamia obciążenia stanowe na Kubernetes, a operator, PodDisruptionBudgety i aktualizacje StatefulSetów to jego codzienność, RabbitMQ jest po prostu kolejnym StatefulSetem. Jeśli zespół infrastruktury dobrze radzi sobie z maszynami wirtualnymi, a na Kubernetes działają tylko bezstanowe aplikacje, umieszczenie tam brokera oznacza, że zespół od komunikacji będzie poznawał tryby awarii Kubernetes na systemie produkcyjnym.
- Pamięć masowa. Kolejki kworum i strumienie wykonują fsync przy każdej porcji zapisów. Na maszynie wirtualnej z lokalnym NVMe trwa to poniżej milisekundy. Na Kubernetes domyślnie używany jest sieciowy PersistentVolume i każdy fsync przechodzi przez sieć pamięci masowej. Na chmurowej pamięci blokowej widzimy zwykle od 2 do 5 ms na fsync, co przekłada się bezpośrednio na opóźnienie potwierdzeń wydawców w kolejkach kworum. Istnieją provisionery lokalnych PV, ale przypinają poda do węzła. Artykuł kolejki klasyczne a kolejki kworum wyjaśnia, dlaczego kolejki kworum są na to wrażliwsze niż klasyczne.
- Aktualizacje. Kubernetes wykonuje kroczący restart StatefulSetu, po jednym podzie naraz, a operator przed każdym krokiem czeka na kworum. Na maszynach wirtualnych aktualizuje się w miejscu, węzeł po węźle, według własnego harmonogramu. Wariant na Kubernetes jest bardziej zautomatyzowany i mniej wyrozumiały dla błędnych założeń.
- Domeny awarii. Na Kubernetes węzły są opróżniane, pody eksmitowane, a autoskaler odbiera pojemność bez pytania. PDB i pod anti-affinity to jedyne, co stoi między rutynowym drainem a utratą kworum. Maszyny wirtualne psują się rzadziej i według kontrolowanego harmonogramu, ale za to boleśniej – nie ma schedulera, który uruchomiłby broker gdzie indziej.
- Sieć. Pody dostają nazwy hostów z headless service i adresy IP, które zmieniają się przy każdym restarcie. Klienci łączą się przez Service lub ingress i muszą poprawnie się ponownie łączyć, bo będą rozłączani. Wszystko, co przypina adres IP brokera, przestaje działać. Na maszynach wirtualnych nazwy hostów pozostają stałe latami, a błędy ponownego łączenia klientów pozostają ukryte.
- Licencjonowanie. Tanzu RabbitMQ, dystrybucja komercyjna, jest pakowana przede wszystkim pod Kubernetes, a obok dostępny jest obraz maszyny wirtualnej. RabbitMQ open source działa wszędzie.
Nasza rekomendacja: maszyny wirtualne, gdy zespół jest mały, a dominują obciążenia kolejek kworum wrażliwe na opóźnienia. Kubernetes, gdy jest zespół platformowy, używany operator, a reszta środowiska już tam działa. W naszych projektach podział jest mniej więcej równy, a wdrożenia na Kubernetes, które idą źle, to niemal zawsze te, na które zdecydowano się dlatego, że Kubernetes był pod ręką, a nie dlatego, że ktoś był gotów utrzymywać na nim obciążenia stanowe.
Operator, chart Helm czy ręcznie pisany StatefulSet
RabbitMQ Cluster Kubernetes Operator to opcja utrzymywana upstream i ta, którą wybieramy domyślnie. Deklaruje się zasób RabbitmqCluster, a operator tworzy StatefulSet, headless service do wykrywania węzłów, Service dla klientów, sekrety z Erlang cookie i użytkownikiem domyślnym oraz konfigurację serwera. Obsługuje kroczące restarty z hookiem preStop, który przed wyłączeniem węzła czeka na stan kworum plus jeden, i podłącza TLS z wskazanego sekretu. Sam nie tworzy PodDisruptionBudget; trzeba go dodać z maxUnavailable: 1. Obok niego Messaging Topology Operator zamienia użytkowników, vhosty, uprawnienia, kolejki, exchange'e, powiązania, polityki, shovele i upstreamy federacji w CRD, dzięki czemu topologia trafia do Gita obok definicji klastra.
Minimalny klaster w kształcie produkcyjnym:
apiVersion: rabbitmq.com/v1beta1
kind: RabbitmqCluster
metadata:
name: orders
spec:
replicas: 3
resources:
requests:
cpu: "2"
memory: 8Gi
limits:
cpu: "2"
memory: 8Gi
persistence:
storageClassName: fast-ssd
storage: 100Gi
rabbitmq:
additionalConfig: |
cluster_partition_handling = pause_minority
vm_memory_high_watermark.relative = 0.6
disk_free_limit.absolute = 5GBW RabbitMQ 4.3 i nowszych należy usunąć wiersz cluster_partition_handling: wersja 4.3.0 usunęła strategie obsługi partycji sieciowych i ten klucz nie ma żadnego efektu. Wartości requests powinny być równe limits. Operator wylicza nadpisanie limitu pamięci RabbitMQ z ustawienia pamięci poda, więc próg high watermark i limit cgroup są zgodne. Należy dodać spec.affinity z pod anti-affinity między węzłami, a jeśli są dostępne – między strefami.
- Społecznościowe charty Helm generują z szablonu StatefulSet wraz z usługami, konfiguracją i sekretami w jednym
helm install. Wystarczą, by postawić klaster. Po instalacji nie robią nic: brak uporządkowanej kroczącej aktualizacji czekającej na kworum, brak zarządzania topologią, a każdehelm upgradenadpisuje StatefulSet w nadziei, że się uda. Jeśli wszystko standaryzują Państwo na Helmie, lepiej uruchomić operatora i zarządzać zasobemRabbitmqClusterza pomocą chartu. - Ręcznie pisany StatefulSet da się obronić w dwóch przypadkach: w klastrze, w którym nie wolno instalować CRD ani operatorów o zasięgu klastra, albo gdy zespół ma już sprawdzony wzorzec StatefulSetu dla innych systemów stanowych i chce, by RabbitMQ do niego pasował. Bierze się wtedy na siebie wszystko powyższe: konfigurację wykrywania węzłów, hook preStop do opróżniania, strojenie sond, rotację sekretów i choreografię aktualizacji. Błąd, który najczęściej dziedziczymy, to aktualizacja, która zrestartowała dwa pody naraz.
Tryby awarii na Kubernetes, z którymi się do nas zgłaszają
- Drain zabrał lidera kworum, a PDB na to pozwolił. Objaw: wydawcy blokują się na potwierdzeniach przez 10 do 30 sekund podczas rutynowej aktualizacji węzła albo kolejka zgłasza brak lidera, bo dwie z trzech replik nie działają. Przyczyna: brak PDB lub PDB dopuszczający niedostępność więcej niż jednego poda, w połączeniu z aktualizacją klastra, która opróżnia węzły szybciej, niż kolejki kworum zdążą wybrać lidera i nadrobić zaległości. Rozwiązanie: PDB z
maxUnavailable: 1, pod anti-affinity, aby repliki nigdy nie dzieliły węzła, oraz hook preStop operatora (albo własnerabbitmq-upgrade await_online_quorum_plus_one), aby drain czekał. - Ponowne podłączanie PV po awarii węzła. Objaw: po awarii węzła jego pod RabbitMQ przez sześć minut lub dłużej tkwi w stanie ContainerCreating z błędem Multi-Attach albo konfliktem node affinity wolumenu. Przyczyna: pamięć blokowa powiązana ze strefą może zostać podłączona tylko w swojej strefie, a podłączenie do martwego węzła nie zostaje zwolnione, dopóki kontroler węzłów go nie odpuści. Rozwiązanie: jeśli anti-affinity rozłożyło repliki, klaster działa dalej na dwóch z trzech, więc nie trzeba z tym walczyć. Należy używać klasy pamięci z
WaitForFirstConsumer, aby wolumen trafiał do strefy poda, i traktować okno ponownego podłączania jako znany koszt pamięci sieciowej. - OOMKilled, zanim zadziała kontrola przepływu. Objaw: pod restartuje się z kodem wyjścia 137 bez żadnego błędu RabbitMQ w logu; alarm pamięci nigdy się nie uruchomił. Przyczyna: limit pamięci kontenera jest niższy niż próg, przy którym zadziałałby high watermark – albo dlatego, że RabbitMQ odczytał pamięć hosta zamiast limitu cgroup, albo dlatego, że próg nie zostawia zapasu na alokatory maszyny wirtualnej Erlanga i stertę binarną. Rozwiązanie: requests równe limits, próg zostawiający 20 do 30 procent zapasu poniżej limitu oraz
rabbitmq-diagnostics memory_breakdown, aby potwierdzić, że łączna pamięć widziana przez RabbitMQ odpowiada podowi. - Restarty przez liveness probe w trakcie odtwarzania. Objaw: po nieczystym restarcie węzeł z dużymi kolejkami wpada w CrashLoopBackOff, a każda próba dochodzi nieco dalej w odbudowie indeksów, zanim kubelet ją zabije. Przyczyna: liveness probe wykonująca
rabbitmq-diagnostics check_runninglub podobne polecenie zawodzi, gdy węzeł odtwarza Mnesia lub Khepri i odbudowuje indeksy kolejek, co na dużym węźle trwa dłużej niż próg niepowodzeń sondy. Rozwiązanie: startup probe z hojnym failureThreshold, readiness probe tylko na porcie 5672 i żadnej agresywnej liveness probe. Właśnie dlatego operator jest dostarczany bez liveness probe. - Zmiana DNS lub headless service zepsuła wykrywanie węzłów. Objaw: pody startują, ale każdy tworzy jednoosobowy klaster albo w ogóle nie chce się uruchomić, bo katalog danych należy do węzła o innej nazwie. Przyczyna: nazwy węzłów wynikają z nazwy hosta poda i headless service, więc zmiana nazwy usługi, przestrzeni nazw lub domeny DNS klastra zmienia nazwę każdego węzła i osieroca dane na dysku. Rozwiązanie: nie zmieniać nazw. Jeśli zmiana jest nieunikniona, należy traktować ją jak migrację do nowego klastra: wyeksportować definicje, przenieść komunikaty za pomocą Shovel lub opróżnić kolejki i przełączyć klientów.
Szerszą listę tego, co się psuje, gdy komunikacja trafia na Kubernetes, zawiera artykuł co psuje się w komunikacji na Kubernetes. O tym, co obserwować, by te problemy przychodziły jako alerty, a nie zgłoszenia, piszemy w artykule monitoring RabbitMQ na Kubernetes. Jeśli wolą Państwo kogoś, kto już to naprawiał, zapraszamy do naszego doradztwa w zakresie Kubernetes i kontenerów oraz wsparcia technicznego RabbitMQ.
Pełną sekwencję – czy Kubernetes jest właściwym miejscem, operator, klasy pamięci masowej, polityki sieciowe, requests i limits, monitoring i aktualizacje kroczące – opisuje przewodnik po RabbitMQ na Kubernetes.
FAQ
Uruchamiać RabbitMQ na Kubernetes czy na maszynach wirtualnych?
Obie opcje działają. Maszyny wirtualne sprawdzą się, gdy zespół jest mały, obciążenie opiera się na kolejkach kworum lub strumieniach z rygorystycznymi wymaganiami co do opóźnień potwierdzeń wydawców (publisher confirms), a Państwo nie utrzymują jeszcze obciążeń stanowych na Kubernetes. Kubernetes sprawdzi się, gdy jest zespół platformowy, korzystają Państwo z Cluster Operator, a aplikacje komunikujące się z brokerem już tam działają. Problemy sprawia pamięć masowa: wolumeny sieciowe dodają milisekundy do każdego fsync, a kolejki kworum wykonują fsync nieustannie. Dla klientów utrzymujemy oba warianty. Żaden z nich nie jest zły sam w sobie; błędem jest wybór Kubernetes bez nikogo, kto byłby gotów go utrzymywać.
Którego operatora Kubernetes dla RabbitMQ używać?
RabbitMQ Cluster Kubernetes Operator, utrzymywanego upstream przez zespół RabbitMQ, w parze z Messaging Topology Operator. Cluster Operator zarządza zasobem RabbitmqCluster: StatefulSetem, usługami, sekretami, konfiguracją, TLS oraz kroczącymi restartami uwzględniającymi kworum. Topology Operator zarządza użytkownikami, vhostami, kolejkami, exchange'ami, powiązaniami i politykami jako zasobami Kubernetes, dzięki czemu topologia trafia do Gita. PodDisruptionBudget trzeba dodać samodzielnie. Charty Helm wystarczą do pierwszej instalacji, ale potem niczym nie zarządzają. Ręcznie pisany StatefulSet ma sens tylko tam, gdzie CRD są niedozwolone.
Czy RabbitMQ dobrze działa na OpenShift?
Tak. Uruchamiamy RabbitMQ na OpenShift dla klientów korporacyjnych, obok EKS, AKS i GKE. Cluster Operator instaluje się z OperatorHub, a jego pody działają w ramach restrykcyjnego SCC, o ile kontekst bezpieczeństwa poda pozostawi się OpenShift zamiast ustawiać go w operatorze – co umożliwia spec.override. Od czystego Kubernetes różnią się Routes zamiast Ingress dla AMQP po TLS, uprawnienia wolumenów wynikające z SCC oraz własny cykl aktualizacji węzłów OpenShift, przez który powyższe zalecenia dotyczące PDB i anti-affinity stają się obowiązkowe, a nie tylko mile widziane.
Ile replik RabbitMQ powinien mieć klaster na Kubernetes?
Trzy, rozłożone na różne węzły, a najlepiej także strefy, za pomocą pod anti-affinity. Trzy repliki tolerują utratę jednej przy zachowaniu większości w kolejkach kworum, a utratę jednej powoduje właśnie drain, awaria węzła czy krok aktualizacji. Pięć ma sens tylko wtedy, gdy trzeba jednocześnie przetrwać awarię strefy i prace serwisowe. Nigdy dwie: kolejki kworum wymagają większości, a dwa węzły tracą ją przy każdej pojedynczej awarii. Skalowanie przepustowości to kwestia niezależna od liczby replik, a wymiarowanie opisuje artykuł HA, DR i wymiarowanie klastra.