On this page
Uruchamianie RabbitMQ na Kubernetes to nie to samo co uruchamianie RabbitMQ na bare metal. Sygnały monitoringu istotne w statycznym trzywęzłowym klastrze na maszynach wirtualnych to nie te same sygnały, które mówią, czy StatefulSet RabbitMQ jest w dobrej kondycji wewnątrz klastra Kubernetes, nad którym nie zawsze ma się pełną kontrolę. Inne są też tryby awarii – eksmisje z węzłów, ponowne harmonogramowanie podów, rywalizacja o I/O między najemcami współdzielonej infrastruktury oraz specyficzny sposób, w jaki konsensus Raft współdziała ze stosem sieciowym Kubernetes, mogą powodować przestoje, z którymi operatorzy bare metal nigdy się nie spotykają.
Rozwiązaliśmy już tak wiele takich incydentów, że stało się jasne, co naprawdę ma znaczenie, a co jest szumem. Jeśli w klastrze RabbitMQ na Kubernetes monitoruje się tylko pięć rzeczy, powinny to być te. To metryki, które – z naszego doświadczenia w usługach finansowych, platformach SaaS i wdrożeniach korporacyjnych o wysokiej przepustowości – wychwytują awarie, zanim zamienią się w przestoje odczuwalne dla klientów.
Dlaczego monitorowanie RabbitMQ na Kubernetes jest inne
Klaster RabbitMQ na bare metal lub dedykowanych maszynach wirtualnych ma jednego głównego przeciwnika: własne obciążenie. Klaster RabbitMQ na Kubernetes ma ich kilku:
- Współdzielona moc obliczeniowa. O ile węzły nie są dedykowane, pody RabbitMQ rywalizują o CPU, pamięć i I/O dysku ze wszystkim innym, co Kubernetes uruchomi obok nich.
- Warstwy abstrakcji sieci. Stos sieciowy Kubernetes dodaje opóźnienia między podami, narzut CNI i warstwę heartbeatów, z którą konsensus Raft musi dzielić przepustowość.
- Semantyka StatefulSet. RabbitMQ na Kubernetes jest wdrażany przez Cluster Operator jako StatefulSet, a pody StatefulSet nie są automatycznie przenoszone na inny węzeł, gdy węzeł ulegnie awarii – co zaskakuje operatorów w najgorszym możliwym momencie.
- Powiązanie z wolumenami trwałymi. Storage typu local-path lub lokalny dla węzła oznacza, że przeniesiony pod może nie odzyskać poprzedniego stanu. Storage sieciowy wprowadza z kolei własną zmienność I/O.
Każdy z tych czynników dodaje klasę awarii, która na dedykowanej infrastrukturze byłaby niemożliwa. Monitoring musi uwzględniać je wszystkie.
1. Kondycja replikacji Raft w kolejkach kworum
Jeśli korzystają Państwo z kolejek kworum (quorum queues) – a w 2026 roku na RabbitMQ 4.x powinni Państwo z nich korzystać – kondycja replikacji Raft to najważniejsza metryka na dashboardzie. Jeśli migracja jeszcze nie nastąpiła, warto zajrzeć do naszego przewodnika migracja do kolejek kworum. Kolejki kworum działają w ten sposób, że lider i followerzy uczestniczą w konsensusie Raft, zapisując każdy komunikat na większości węzłów przed potwierdzeniem go wydawcy. Gdy Raft się degraduje, degraduje się wszystko, co od niego zależy.
Na Kubernetes presja na Raft narasta szczególnie szybko. Protokół konsensusu wymaga niezawodnej komunikacji o niskich opóźnieniach między węzłami, stałej wydajności zapisów na dysk i wystarczającego zapasu CPU do przetwarzania wpisów dziennika. Gdy którekolwiek z tych ograniczeń się zaostrza – a na Kubernetes dzieje się to częściej niż na bare metal – Raft zaczyna pozostawać w tyle, a kolejki przestają odpowiadać.
Co faktycznie monitorować
- rabbitmq_queue_messages w podziale na stan lidera i followerów.
- rabbitmq_raft_log_commit_index i rabbitmq_raft_log_last_applied – różnica między nimi to opóźnienie Raft.
- Częstotliwość wyborów lidera. Zdrowy klaster ma stabilnych liderów; jeśli liderzy ciągle się zmieniają, coś po drodze (sieć, dysk, CPU) jest w złej kondycji.
- Stan Raft dla każdej kolejki przez API zarządzania: status followerów, indeks snapshotu, zajętość dysku.
Progi alertów
Alert, jeśli dziennik Raft followera pozostaje za liderem o więcej niż kilka tysięcy wpisów dłużej niż 30 sekund. Alert, jeśli w stabilnym klastrze wybory lidera odbywają się częściej niż raz na godzinę. I natychmiastowy alert, jeśli którakolwiek kolejka kworum utraciła kworum – broker zgłosi to w metrykach, a dowiedzieć się o tym trzeba w ciągu sekund, nie minut.
Dlaczego na Kubernetes ma to większe znaczenie
Na Kubernetes Raft może całkiem łatwo wejść w stan, w którym kolejka staje się bezużyteczna, a standardowe procedury odtwarzania nie działają poprawnie. Jeden ze spotkanych przez nas wzorców produkcyjnych: kolejka kworum się zawiesza, rabbitmqctl delete_queue kończy się niepowodzeniem, ponieważ broker nie potrafi osiągnąć konsensusu, aby ją usunąć, a przywrócenie usługi wymaga zabijania podów w określonej kolejności, aby wymusić nowe wybory lidera. Tego stanu nie chce się odkryć dzięki skardze klienta. Chce się zobaczyć rosnące opóźnienie Raft 10 minut wcześniej.
2. Próg pamięci (watermark) i stan flow control
RabbitMQ ma wbudowany mechanizm ochronny zwany progiem wysokiego zużycia pamięci (memory high-watermark). Gdy zużycie pamięci brokera przekroczy ten próg, RabbitMQ blokuje wydawców, aby węzeł całkowicie nie wyczerpał pamięci. To celowe rozwiązanie – zabezpieczenie awaryjne – ale na Kubernetes domyślne ustawienia progu są często niewłaściwe.
Okiem eksperta: strojenie progu pamięci pod Kubernetes
"Na Kubernetes test trzeba przeprowadzić z progiem 40% i net tick time równym 60. Zostawiamy więcej miejsca dla Raft, żeby mógł robić swoje, plus dodatkowe miejsce na sieć. Sieć w RabbitMQ to nie tylko komunikacja między węzłami, to także sieć Kubernetes i heartbeaty podów. Rywalizuje się o zasoby."— Felipe Gutierrez, Senior Engineer, AceMQ
Domyślny próg pamięci RabbitMQ wynoszący 0,4 (40%) ma sens dlatego, że na Kubernetes broker nie jest jedynym konsumentem pamięci na podzie ani na węźle. Kubelet, plugin CNI, środowisko uruchomieniowe kontenerów i wszelkie kontenery sidecar zużywają pamięć, wokół której Raft i broker potrzebują marginesu. Próg, który ma sens na dedykowanej maszynie wirtualnej, na Kubernetes często trzeba obniżyć, aby zachować wystarczający zapas dla operacji Raft i komunikacji sieciowej między podami.
Co faktycznie monitorować
- rabbitmq_resident_memory_limit_bytes i rabbitmq_process_resident_memory_bytes – stosunek między nimi to bieżące wykorzystanie progu pamięci.
- rabbitmq_connections_blocked_total – ile połączeń wydawców RabbitMQ aktywnie blokuje.
- Stan flow control dla każdego połączenia. Jeśli producenci wchodzą w flow control, gdzieś w potoku występuje problem z presją – w pierwszej kolejności warto sprawdzić strojenie prefetch konsumentów.
- Zużycie pamięci poda Kubernetes a limit pamięci poda – osiągnięcie limitu poda kończy się OOMKilled, co jest znacznie poważniejszą awarią niż osiągnięcie progu RabbitMQ.
Progi alertów
Alert przy 80% skonfigurowanego progu – w tym momencie broker jest blisko zablokowania wydawców. Natychmiastowy alert przy każdym zablokowanym połączeniu. I alert przy 90% limitu pamięci poda Kubernetes – to ostatnie ostrzeżenie, zanim kubelet zabije poda.
3. Rywalizacja o I/O dysku i opóźnienia zapisu
To metryka, przy której Kubernetes daje się we znaki najmocniej. Kolejki kworum RabbitMQ z założenia intensywnie korzystają z dysku – każdy zapis przechodzi przez dziennik Raft przed potwierdzeniem. Jeśli storage jest wolny, niestabilny lub przeciążony, odczuwa to każdy producent w systemie.
Na Kubernetes kwestię wydajności dysku komplikuje konkretny tryb awarii, który obserwujemy wielokrotnie: RabbitMQ współdzieli węzeł z innym obciążeniem intensywnie korzystającym z I/O, zazwyczaj PostgreSQL, Kafką lub Elasticsearch. Gdy obciążenie sąsiada gwałtownie rośnie, zapisy dziennika Raft w RabbitMQ zwalniają, opóźnienie followerów rośnie, liderzy są wybierani ponownie, a klaster wydaje się w tajemniczy sposób degradować z przyczyn, których operator nie potrafi od razu wskazać.
Okiem eksperta: wzorzec rywalizacji o I/O
"Jeśli nadal rywalizujecie z Postgresem na tym samym węźle – Raft to nie tylko pamięć i kworum, on wymaga też dysku. Jeśli w tym samym czasie Postgres jest mocno obciążony, wywoła to dokładnie tę samą dyskusję, którą teraz z wami prowadzę. Trzeba to rozdzielić albo przynajmniej zmniejszyć liczbę węzłów RabbitMQ, żeby nie rywalizować o zasoby."— Felipe Gutierrez, Senior Engineer, AceMQ
Co faktycznie monitorować
- rabbitmq_io_write_time_seconds_total i rabbitmq_io_write_bytes_total – trendy opóźnień zapisu to wczesne ostrzeżenie.
- Histogramy opóźnień zapisu na dysk na poziomie węzła (dostarcza je node_exporter w Kubernetes).
- IOPS zużywane przez pody RabbitMQ a IOPS zużywane przez wszystko inne na tym samym węźle.
- Głębokość kolejki dyskowej – jeśli stale przekracza 1–2, system czeka na dysk.
- Tempo zapełniania wolumenu trwałego – zajętość dysku przez kolejki kworum rośnie wraz z wolumenem komunikatów i retencją dziennika.
Progi alertów
Alert, gdy opóźnienie zapisu na dysk p99 przekracza 50ms na którymkolwiek węźle RabbitMQ. Alert przy zajętości wolumenu trwałego powyżej 75%. I alert, gdy głębokość kolejki dyskowej utrzymuje się powyżej 2 dłużej niż minutę.
Rekomendacja architektoniczna
Tam, gdzie to możliwe, należy dedykować węzły Kubernetes dla RabbitMQ za pomocą taintów i tolerations. Obciążenia stanowe intensywnie korzystające z I/O powinny działać we własnej puli węzłów. Jeśli to niewykonalne, należy użyć osobnych wolumenów trwałych na osobnych dyskach fizycznych dla RabbitMQ i jego sąsiadów – koszt dodatkowego dysku jest znikomy w porównaniu z kosztem przestoju produkcji spowodowanego rywalizacją o I/O.
4. Harmonogramowanie podów, liczba restartów i zachowanie StatefulSet
Oto specyficzna dla Kubernetes pułapka, która zaskakuje operatorów: RabbitMQ jest wdrażany przez oficjalny Cluster Operator jako StatefulSet, a pody StatefulSet nie są automatycznie przenoszone na inny węzeł, gdy ich bieżący węzeł ulegnie awarii. To celowe rozwiązanie – StatefulSet zapewnia stabilną tożsamość i storage – ale w praktyce oznacza, że awaria węzła może wyłączyć pod RabbitMQ na tak długo, jak długo węzeł nie działa.
To nie jest problem teoretyczny. Prowadziliśmy klientów przez incydenty, w których węzeł Kubernetes przestał działać, pod StatefulSet RabbitMQ utknął, a aplikacja przez dłuższy czas była niedostępna, ponieważ operator oczekiwał automatycznego przeniesienia, którego Kubernetes po prostu nie zapewnia dla StatefulSet.
Co faktycznie monitorować
- Liczba restartów każdego poda RabbitMQ, śledzona w czasie. Pod z ponad 10 restartami w ciągu doby o czymś informuje.
- Stan harmonogramowania podów – w szczególności każdy pod RabbitMQ w stanie Pending, Unschedulable lub ContainerCreating dłużej niż 60 sekund.
- Status węzłów, na których działają pody RabbitMQ. Węzeł NotReady to tykający zegar do przestoju poda.
- Gotowość StatefulSet – ile z oczekiwanych replik jest obecnie w stanie Ready.
- Odsetek niepowodzeń sond liveness i readiness. Niepowodzenia sond pod obciążeniem zwykle wskazują na przeciążenie brokera, zanim całkowicie ulegnie awarii.
Progi alertów
Natychmiastowy alert, gdy liczba replik StatefulSet RabbitMQ spadnie poniżej oczekiwanej. Alert przy każdym restarcie poda. Alert, gdy którykolwiek węzeł z podem RabbitMQ przejdzie w stan NotReady. To wszystko sytuacje wymagające działania – trzeba, żeby przyjrzał się im człowiek, a nie mechanizm automatycznego samonaprawiania, który w przypadku StatefulSet może zadziałać albo nie.
Uwaga architektoniczna
Jeśli potrzebne jest szybsze automatyczne odtwarzanie po awarii węzła, niż zapewnia domyślne zachowanie StatefulSet, jest kilka opcji: pod disruption budgets w połączeniu z automatyzacją opróżniania węzłów (drain), wdrożenie RabbitMQ w kilku strefach dostępności Kubernetes, tak aby awaria strefy nie wyłączała klastra, lub – w niektórych przypadkach – uruchomienie brokera na dedykowanych maszynach wirtualnych całkowicie poza Kubernetes. Właściwy wybór zależy od docelowego czasu odtwarzania (RTO) i dojrzałości operacyjnej w obszarze Kubernetes.
5. Heartbeaty sieciowe i opóźnienia między węzłami
Węzły RabbitMQ utrzymują ze sobą rozproszoną komunikację Erlang, a jej kondycja decyduje o tym, czy klaster pozostaje klastrem. Na Kubernetes warstwa sieciowa wprowadza dodatkową zmienność opóźnień, która może powodować fałszywe wykrycia awarii węzłów – broker uznaje, że węzeł partnerski nie działa, bo heartbeat nie zmieścił się w oknie czasowym, podczas gdy w rzeczywistości CNI Kubernetes był tylko chwilowo wolny.
Domyślny net_ticktime w Erlang wynoszący 60 sekund jest często zbyt agresywny dla środowisk Kubernetes, zwłaszcza z sieciami overlay lub ruchem między strefami. Jego dostrojenie to jedna z pierwszych rzeczy, które robimy, przygotowując klaster RabbitMQ na Kubernetes do produkcji.
Co faktycznie monitorować
- Zdarzenia partycji sieciowych – RabbitMQ zapisuje je w logach i należy natychmiast na nie alarmować.
- Opóźnienia między podami RabbitMQ (mierzalne prostym sidecarem wykonującym ping lub metrykami service mesh).
- Wykorzystanie bufora dystrybucji Erlang – rabbitmq_erlang_distribution_buffer_busy pokazuje, kiedy komunikacja między węzłami zaczyna się zatykać.
- Rozkład stanów połączeń TCP na poziomie węzła. Rosnąca liczba połączeń TIME_WAIT lub CLOSE_WAIT może wskazywać na narastające problemy sieciowe.
- Metryki na poziomie CNI, jeśli są dostępne (Calico, Cilium itp.) – utrata pakietów między podami RabbitMQ to sygnał ostrzegawczy.
Progi alertów
Alert przy każdym zdarzeniu partycji sieciowej. Alert, gdy opóźnienie p99 między podami RabbitMQ przekracza 10ms. Alert, gdy wykorzystanie bufora dystrybucji Erlang przekracza 50%.
Rekomendacja dotycząca strojenia
Na Kubernetes jako punkt wyjścia należy zwiększyć net_ticktime z domyślnych 60 sekund do 120 sekund. Daje to warstwie CNI więcej swobody i radykalnie zmniejsza liczbę fałszywych zdarzeń partycji klastra przy normalnym jitterze sieci. Dłuższy czas tyknięcia oznacza nieco wolniejsze wykrywanie naprawdę niedziałających węzłów, ale w środowiskach Kubernetes bilans zdecydowanie przemawia na korzyść stabilności.
Wszystko razem: filozofia alertowania
Monitorowanie tych pięciu obszarów nie polega na tworzeniu większej liczby alertów, lecz na tworzeniu właściwych alertów. Z naszego doświadczenia najrzadziej wzywani są nie ci operatorzy, którzy monitorują najmniej, lecz ci, którzy monitorują właściwe rzeczy z właściwymi progami.
Rozsądny podział na poziomy dla klastra RabbitMQ na Kubernetes:
- P1 (natychmiastowe wezwanie dyżurnego): Utrata kworum w dowolnej kolejce. Węzeł NotReady. Liczba replik StatefulSet poniżej oczekiwanej. Dowolne zablokowane połączenie wydawcy. Wykryta partycja sieciowa.
- P2 (wezwanie w godzinach pracy): Stale rosnące opóźnienie followerów Raft. Próg pamięci powyżej 80%. Opóźnienie dysku p99 powyżej 50ms. Restart poda. Częste zmiany lidera.
- P3 (tylko dashboard, przegląd co tydzień): Trendy pojemności. Tempo zapełniania dysku. Wzrost liczby połączeń. Wzrost głębokości kolejek.
Wszystko inne to szum. Jeśli dyżurni są wzywani z powodów, które nie mieszczą się w P1 ani P2, alerty są rozjechane z tym, co naprawdę ma znaczenie.
Wnioski praktyczne
Kubernetes to dobra platforma dla RabbitMQ – pod warunkiem, że monitoruje się to, co Kubernetes zmienia. Modele myślowe z monitorowania bare metal nie przenoszą się wprost. Pięć powyższych kategorii metryk monitorujemy w każdym wspieranym przez nas projekcie RabbitMQ na Kubernetes i właśnie je zalecamy wdrożyć od pierwszego dnia każdemu zespołowi uruchamiającemu RabbitMQ na Kubernetes.
Jeśli przejmują Państwo klaster RabbitMQ na Kubernetes i chcą szybko ocenić stan jego monitoringu, warto sprawdzić te pięć punktów w kolejności:
- Czy kondycja replikacji Raft jest widoczna dla każdej kolejki? Jeśli nie, w kwestii kworum lecą Państwo na ślepo.
- Czy próg pamięci jest ustawiony pod Kubernetes (bliżej 0,4 niż 0,8)? Jeśli nie, od zablokowanych wydawców dzieli Państwa jeden skok ruchu.
- Czy opóźnienie dysku na każdym węźle RabbitMQ jest monitorowane i objęte alertami? Jeśli nie, nie da się zdiagnozować rywalizacji o I/O, gdy wystąpi.
- Czy liczba replik StatefulSet i stan harmonogramowania podów są objęte alertami? Jeśli nie, awaria węzła zaskoczy Państwa całkowicie.
- Czy net_ticktime jest dostrojony do Państwa środowiska Kubernetes? Jeśli nadal ma wartość domyślną, pojawiają się fałszywe partycje.
Każdy klaster, który na dwa lub więcej z tych pytań odpowiada „nie”, dzieli jeden incydent operacyjny od odkrycia, dlaczego odpowiedź powinna brzmieć „tak”.
Lista kontrolna monitorowania RabbitMQ dla SRE
Jeśli z tego artykułu przeczytają Państwo tylko jedną sekcję, niech to będzie ta. Wszystko powyżej wyjaśnia, dlaczego każdy sygnał ma znaczenie; to jest lista, którą umieszcza się w runbooku. Należy włączyć plugin rabbitmq_prometheus (wbudowany od wersji 3.8), zbierać metryki z każdego węzła i zaimportować oficjalne dashboardy Grafana. Następnie obserwować cztery grupy metryk.
Klaster. Każdy węzeł raportuje (up dla każdego celu scrapowania), brak partycji (health check w API zarządzania lub rabbitmqctl cluster_status, patrz sekcja o partycjach sieciowych powyżej), stabilność liderów Raft w kolejkach kworum (rabbitmq_raft_term_total powinno być płaskie; rosnąca kadencja oznacza, że odbywają się wybory) oraz oba alarmy zasobów wyłączone (rabbitmq_alarms_memory_used_watermark i rabbitmq_alarms_free_disk_space_watermark powinny wynosić 0). Warto też śledzić surowy zapas: rabbitmq_disk_space_available_bytes oraz rabbitmq_process_resident_memory_bytes względem rabbitmq_resident_memory_limit_bytes.
Kolejki. Głębokość (rabbitmq_queue_messages_ready), komunikaty niepotwierdzone (rabbitmq_queue_messages_unacked), liczba konsumentów (rabbitmq_queue_consumers) i wykorzystanie konsumentów (rabbitmq_queue_consumer_utilisation – niska wartość oznacza, że konsumenci są bezczynni i czekają na brokera, a wartość bliska 1, że broker czeka na konsumentów), tempo ponownych dostarczeń (rabbitmq_queue_messages_redelivered_total) oraz tempo dead-letteringu. Sama głębokość nie jest problemem; problemem jest głębokość, która stale rośnie przy stałej liczbie konsumentów.
Przepustowość i opóźnienia. Tempo publikowania i dostarczania (rabbitmq_queue_messages_published_total i rabbitmq_queue_messages_delivered_total, liczone jako tempo w oknie czasowym) oraz opóźnienie potwierdzeń wydawcy (publisher confirms). Broker nie eksportuje bezpośrednio opóźnienia potwierdzeń, więc należy je mierzyć w aplikacji publikującej lub za pomocą wydawcy kanarkowego. Niezamykająca się różnica między tempem publikowania a tempem dostarczania to najwcześniejszy sygnał problemów z pojemnością, jaki można uzyskać.
Platforma. Restarty podów (kube_pod_container_status_restarts_total dla StatefulSet RabbitMQ), opóźnienia wolumenów trwałych z klasy storage’u lub node exportera oraz throttling CPU (container_cpu_cfs_throttled_periods_total względem container_cpu_cfs_periods_total). Throttling powyżej kilku procent na podzie brokera ujawnia się jako opóźnienie potwierdzeń na długo przed tym, zanim cokolwiek w samym RabbitMQ zacznie wyglądać źle. Mechanikę wyjaśniają powyższe sekcje o harmonogramowaniu podów i I/O dysku.
Osiem alertów, które uważamy za obowiązkowe, z progami początkowymi. Należy dostroić je do własnego obciążenia; chodzi o to, aby ostrzeżenie pojawiło się przed wezwaniem dyżurnego.
| Metryka | Ostrzeżenie | Wezwanie dyżurnego |
|---|---|---|
Węzeł niedostępny (up == 0) | 1 węzeł przez 2 min | 2+ węzły lub 1 węzeł przez 10 min |
| Wykryta partycja sieciowa | każda, natychmiast | każda trwająca 5 min |
Tempo rabbitmq_raft_term_total | więcej niż 1 wybory w ciągu 10 min | więcej niż 3 w ciągu 10 min |
rabbitmq_alarms_memory_used_watermark | pamięć powyżej 70% limitu | alarm aktywny (wydawcy zablokowani) |
rabbitmq_disk_space_available_bytes | poniżej 20% wolnego miejsca | poniżej 2 × limit wolnego miejsca na dysku |
rabbitmq_queue_messages_ready | rośnie przez 15 min | powyżej uzgodnionej maksymalnej głębokości przez 5 min |
rabbitmq_queue_consumer_utilisation | poniżej 0,6 przez 10 min | poniżej 0,3 przy rosnącej głębokości |
| Restarty podów | 1 w ciągu 1 godziny | 3 w ciągu 1 godziny lub CrashLoopBackOff |
Dwie rzeczy, których ta tabela nie obejmuje. Po pierwsze, rosnąca liczba niepotwierdzonych komunikatów przy stałej liczbie konsumentów zwykle oznacza, że konsument się zawiesił lub prefetch jest zbyt wysoki; alert warto ustawić dla każdej krytycznej kolejki, a nie globalnie. Po drugie, tempo dead-letteringu zależy od obciążenia, więc alert należy oprzeć na odchyleniu od poziomu bazowego, a nie na stałej wartości.
Poziom ostrzeżeń należy podpiąć pod kanał, który ktoś czyta w ciągu dnia, a poziom wezwań – pod dyżur. Jeśli klaster budowany jest od zera, nasz playbook wdrożenia na Kubernetes opisuje requesty zasobów, klasy storage’u i reguły anti-affinity, dzięki którym większość tych alertów milczy. Gdy któryś z nich mimo to się uruchomi, przewodnik po rozwiązywaniu problemów przypisuje każdemu objawowi rozwiązanie.
Potrzebują Państwo pomocy we wzmocnieniu klastra RabbitMQ na Kubernetes?
AceMQ utrzymuje produkcyjne środowiska RabbitMQ na Kubernetes dla klientów korporacyjnych z sektora usług finansowych, SaaS, ochrony zdrowia i firm z listy Fortune 1000. Budujemy stos monitoringu, stroimy broker pod tryby awarii specyficzne dla Kubernetes, weryfikujemy procedury failoveru i pozostajemy do dyspozycji w ramach stałej umowy przez cały okres produkcji, aby obsługiwać incydenty, których wolałoby się nigdy nie zobaczyć.
Jeśli Państwa zespół zmaga się ze stabilnością RabbitMQ na Kubernetes – lub planuje nowe wdrożenie na Kubernetes i chce od początku dobrze ustawić monitoring – zapraszamy do rozmowy o ocenie kondycji RabbitMQ. Przeprowadzimy audyt obecnego monitoringu, wskażemy luki i przygotujemy plan ich usunięcia. Jeśli potrzebują Państwo komercyjnego wsparcia technicznego RabbitMQ lub doradztwa w zakresie RabbitMQ, właśnie tym się zajmujemy.
Najczęstsze pytania
Jak zespoły SRE powinny monitorować klastry RabbitMQ?
Należy włączyć plugin rabbitmq_prometheus na każdym węźle, zbierać z niego metryki razem z kube-state-metrics i cAdvisor oraz zaimportować oficjalne dashboardy Grafana. Alerty warto ustawić w czterech grupach: kondycja klastra (dostępność węzłów, partycje, zmiany kadencji Raft, alarmy pamięci i dysku), kondycja kolejek (ready, unacked, liczba i wykorzystanie konsumentów, ponowne dostarczenia), przepustowość (tempo publikowania a tempo dostarczania, opóźnienie potwierdzeń mierzone po stronie wydawcy) oraz kondycja platformy (restarty podów, opóźnienia PV, throttling CPU). Poziom ostrzeżeń powinien trafiać na kanał, a poziom krytyczny – do dyżurnego. Powyższa tabela podaje progi początkowe dla ośmiu alertów, które uważamy za obowiązkowe.
Które metryki RabbitMQ wskazują na problemy z wydajnością i pojemnością?
Najwcześniejszym sygnałem jest tempo publikowania stale przewyższające tempo dostarczania. Następny to rosnące rabbitmq_queue_messages_ready przy niezmiennym rabbitmq_queue_consumers, co oznacza, że potrzeba więcej konsumentów lub szybszych konsumentów. rabbitmq_queue_consumer_utilisation bliskie 1 oznacza, że wąskim gardłem są konsumenci; bliskie 0 – że broker. Po stronie brokera pamięć rezydentna zbliżająca się do rabbitmq_resident_memory_limit_bytes, spadające rabbitmq_disk_space_available_bytes i throttling CPU na podzie wskazują, że węzeł jest niedowymiarowany. Uruchomione alarmy pamięci lub dysku oznaczają, że pojemność już się wyczerpała, a wydawcy są blokowani.
Co powoduje niestabilność klastra RabbitMQ?
Z naszego doświadczenia przyczyny to, w przybliżonej kolejności: partycje sieciowe wynikające z presji na węzły lub źle skonfigurowanych pod disruption budgets; alarmy pamięci wywołane głębokimi kolejkami lub nieograniczoną liczbą połączeń; rywalizacja o dysk na współdzielonych wolumenach trwałych, która spowalnia zapisy Raft na tyle, że wywołuje wybory lidera; pody StatefulSet przeniesione na węzły, na które nie może za nimi podążyć ich wolumen; oraz rozbieżność wersji między węzłami podczas aktualizacji kroczącej. Niemal wszystkie z nich ujawniają się najpierw jako rosnące rabbitmq_raft_term_total lub restart poda – dlatego te dwa alerty znajdują się na początku tabeli. Każdej przyczynie poświęcona jest osobna sekcja powyżej.
Czy do RabbitMQ potrzebne jest komercyjne narzędzie monitorujące?
Nie. Plugin rabbitmq_prometheus, Prometheus i oficjalne dashboardy Grafana są bezpłatne, dobrze utrzymywane i wystarczają większości środowisk, także dużym. Nie zapewniają natomiast osoby, która przegląda je o 3 w nocy, wie, który z ośmiu alertów jest tym właściwym, gdy trzy uruchamiają się jednocześnie, i rozwiązywała już ten problem na Państwa wersji. To właśnie daje umowa wsparcia technicznego. Obsługujemy wersje od 3.8.x do 4.x z docelowymi czasami reakcji od 15 minut, zależnie od planu, więc wartość leży w reakcji, a nie w dashboardach. Warto zachować własny monitoring, a nas zaangażować do interpretacji i rozwiązania problemu.
Monitorowanie to szósty z ośmiu kroków przewodnika po RabbitMQ na Kubernetes, który omawia po kolei Operator, storage, sieć, requesty i limity oraz aktualizacje kroczące.
Talk to an engineer
Need a hand with RabbitMQ?
Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.
Poradniki, porównania i analizy

