部落格RabbitMQ

確保 Kubernetes 上的 RabbitMQ 叢集健康,必須監控的 5 大重點

Scott Sternloff

作者:Scott Sternloff(資深企業架構師)

LinkedIn · 更新日期: · 閱讀時間 17 分鐘

確保 Kubernetes 上的 RabbitMQ 叢集健康,必須監控的 5 大重點
On this page

在 Kubernetes 上執行 RabbitMQ,和在實體機上執行 RabbitMQ 是兩回事。在固定的三節點 VM 叢集上重要的監控訊號,並不等同於能告訴您一個 RabbitMQ StatefulSet 在您未必能完全掌控的 Kubernetes 叢集裡是否健康的訊號。故障模式也不一樣——節點驅逐(eviction)、pod 重新排程、多租戶共用環境下的 I/O 爭用,以及 Raft 共識與 Kubernetes 網路堆疊之間特有的交互作用,都可能造成實體機維運人員從未遇過的服務中斷。

這類事故我們已經處理得夠多,哪些訊號真正重要、哪些只是雜訊,已經非常清楚。如果您在 Kubernetes 上的 RabbitMQ 叢集只能監控五件事,就監控這五件。依我們在金融服務、SaaS 平台與高吞吐量企業部署上的經驗,這些指標能在故障演變成影響客戶的服務中斷之前就把它攔下來。

為什麼 Kubernetes 上的 RabbitMQ 監控與眾不同

在實體機或專屬 VM 上的 RabbitMQ 叢集,主要的對手只有一個:它自己的工作負載。在 Kubernetes 上的 RabbitMQ 叢集則有好幾個:

  • 共用運算資源。除非您配置了專屬節點,否則您的 RabbitMQ pod 會與 Kubernetes 排程在一起的其他工作負載爭搶 CPU、記憶體與磁碟 I/O。
  • 網路抽象層。Kubernetes 的網路堆疊會增加 pod 對 pod 的延遲、CNI 的額外負擔,以及一層 Raft 共識必須與之共用頻寬的 heartbeat。
  • StatefulSet 的語意。Kubernetes 上的 RabbitMQ 由 Cluster Operator 以 StatefulSet 部署,而 StatefulSet 的 pod 在節點故障時並不會自動重新排程——維運人員往往在最糟的時刻才意外發現這件事。
  • 與持久磁碟區的綁定。使用 local-path 或節點本機儲存時,重新排程後的 pod 可能無法恢復先前的狀態。網路掛載儲存則有其自身的 I/O 變異性。

以上每一項都會帶來一類在專屬基礎架構上不可能發生的故障。您的監控必須把它們全部考慮進去。

1. 仲裁佇列的 Raft 複寫健康狀態

如果您使用的是仲裁佇列——而在 2026 年,若您已在 RabbitMQ 4.x 上,就應該使用——Raft 複寫的健康狀態就是儀表板上最重要的單一指標。如果您還沒有遷移,請參閱我們的遷移到仲裁佇列指南。仲裁佇列的運作方式是由一個 leader 與多個 follower 參與 Raft 共識,每則訊息都要寫入多數節點之後,才會回覆確認給發布者。Raft 一旦劣化,它下游的一切也會跟著劣化。

在 Kubernetes 上,Raft 的壓力會迅速疊加。這個共識協定需要節點之間可靠的低延遲通訊、穩定的磁碟寫入效能,以及足以處理日誌項目的 CPU 餘裕。只要其中任何一項條件收緊——而在 Kubernetes 上,收緊的頻率比實體機高——Raft 就會開始落後,佇列也會開始失去回應。

實際要監控的項目

  • rabbitmq_queue_messages,依 leader 與 follower 狀態分別統計。
  • rabbitmq_raft_log_commit_index 與 rabbitmq_raft_log_last_applied——兩者之間的差值就是您的 Raft 落後量。
  • leader 選舉的頻率。健康的叢集 leader 是穩定的;如果 leader 頻繁切換,代表上游(網路、磁碟、CPU)出了問題。
  • 透過管理 API 查看每個佇列的 Raft 狀態:follower 狀態、快照索引、磁碟用量。

告警門檻

若某個 follower 的 Raft 日誌落後 leader 超過數千筆、且持續超過 30 秒,就發出告警。若穩定的叢集每小時發生超過一次 leader 選舉,就發出告警。若任何仲裁佇列失去 quorum,則要立即告警——broker 會透過指標告訴您,而您會希望在幾秒內、而不是幾分鐘後得知。

為什麼這在 Kubernetes 上更加重要

在 Kubernetes 上,Raft 完全有可能陷入佇列無法使用、標準復原程序又無法順利運作的狀態。我們看過的一種正式環境模式是:某個仲裁佇列卡住,rabbitmqctl delete_queue 因為 broker 無法達成刪除所需的共識而失敗,要恢復服務必須依特定順序刪除 pod,強制進行新的 leader 選舉。您絕對不會想透過客戶抱怨才發現這種狀況。您會希望提早 10 分鐘就看到 Raft 落後量在攀升。

2. 記憶體水位線與流量控制狀態

RabbitMQ 內建一個稱為記憶體高水位線(memory high-watermark)的保護機制。當 broker 的記憶體用量超過水位線門檻時,RabbitMQ 會阻擋發布者,避免節點完全耗盡記憶體。這是刻意的設計——它是一道安全防線——但在 Kubernetes 上,預設的水位線設定往往是錯的。

專家觀點:Kubernetes 專屬的水位線調校

「在 Kubernetes 上,應該用 40% 的水位線和 60 的 net tick time 來測試。我們要留更多空間給 Raft 去運作,另外也要留一些空間給網路。RabbitMQ 的網路不只是節點之間的通訊,還包括 Kubernetes 本身的網路和 pod 的 heartbeat。大家都在搶資源。」— Felipe Gutierrez,AceMQ 資深工程師

RabbitMQ 記憶體水位線預設為 0.4(40%),原因在於在 Kubernetes 上,broker 並不是 pod 或節點上唯一使用記憶體的元件。Kubernetes kubelet、CNI 外掛、容器執行環境,以及任何 sidecar 容器都會消耗記憶體,而 Raft 與 broker 需要在這些之外保有喘息空間。在專屬 VM 上合理的水位線,在 Kubernetes 上往往需要調低,才能為 Raft 運作與 pod 之間的網路通訊保留足夠的餘裕。

實際要監控的項目

  • rabbitmq_resident_memory_limit_bytes 與 rabbitmq_process_resident_memory_bytes——兩者的比率就是目前的水位線使用率。
  • rabbitmq_connections_blocked_total——RabbitMQ 目前正在阻擋的發布者連線數。
  • 每條連線的流量控制狀態。如果看到生產者進入流量控制,代表管線中某處有壓力問題——第一步請先檢查消費者 prefetch 調校。
  • Kubernetes pod 記憶體用量與 pod 記憶體上限的比較——碰到 pod 上限會被 OOMKilled,這比碰到 RabbitMQ 水位線嚴重得多。

告警門檻

在達到所設定水位線的 80% 時告警——到這個時候,您已經快要開始阻擋發布者了。任何連線一被阻擋就立即告警。並在達到 Kubernetes pod 記憶體上限的 90% 時告警——這是 kubelet 刪除 pod 之前的最後警告。

3. 磁碟 I/O 爭用與寫入延遲

這是 Kubernetes 最容易咬人的指標。RabbitMQ 仲裁佇列在設計上就是磁碟密集型——每一筆寫入都要先經過 Raft 日誌才會被確認。只要底層儲存緩慢、不穩定或遭到爭用,系統中的每個生產者都會受到影響。

在 Kubernetes 上,磁碟效能的問題還會因為一種我們一再看到的故障模式而更加複雜:RabbitMQ 與另一個 I/O 密集的工作負載共用同一個節點,通常是 PostgreSQL、Kafka 或 Elasticsearch。當鄰居的工作負載飆升時,RabbitMQ 的 Raft 日誌寫入就會變慢,follower 落後量增加,leader 被重新選舉,叢集看起來莫名其妙地劣化,維運人員卻無法立刻找出原因。

專家觀點:I/O 爭用模式

「如果你們還在同一個節點上跟 Postgres 搶資源——Raft 不只是記憶體和 quorum 而已,它也需要磁碟。如果 Postgres 同時有大量使用,就會引發我現在跟各位討論的同一個問題。你們應該把兩者分開,或至少減少 RabbitMQ 節點的數量,才不會一直在搶資源。」— Felipe Gutierrez,AceMQ 資深工程師

實際要監控的項目

  • rabbitmq_io_write_time_seconds_total 與 rabbitmq_io_write_bytes_total——寫入延遲的趨勢就是您的早期警訊。
  • 節點層級的磁碟寫入延遲直方圖(Kubernetes 的 node_exporter 會提供)。
  • RabbitMQ pod 消耗的 IOPS 與同一節點上其他所有元件消耗的 IOPS 比較。
  • 磁碟佇列深度——如果持續高於 1–2,代表您正在等磁碟。
  • 持久磁碟區的填滿速度——仲裁佇列的磁碟用量會隨著訊息量與日誌保留量而成長。

告警門檻

任何 RabbitMQ 節點的 p99 磁碟寫入延遲超過 50ms 時告警。持久磁碟區使用率超過 75% 時告警。磁碟佇列深度持續高於 2 超過一分鐘時告警。

架構建議

盡可能透過節點的 taint 與 toleration,為 RabbitMQ 配置專屬的 Kubernetes 節點。讓有狀態、I/O 密集的工作負載在各自的節點池上執行。如果做不到,就讓 RabbitMQ 與其鄰居使用位於不同實體磁碟上的不同持久磁碟區——多一顆磁碟的成本,與 I/O 爭用造成正式環境中斷的代價相比,根本微不足道。

4. pod 排程、重新啟動次數與 StatefulSet 行為

以下是 Kubernetes 特有、常讓維運人員措手不及的陷阱:官方的 Cluster Operator 以 StatefulSet 部署 RabbitMQ,而 StatefulSet 的 pod 在所在節點故障時,並不會自動重新排程到其他節點。這是刻意的設計——StatefulSet 提供穩定的識別與儲存——但在維運上的後果是,只要節點一直沒恢復,RabbitMQ pod 就會一直離線。

這並不是理論上的顧慮。我們曾陪同客戶處理過這樣的事故:某個 Kubernetes 節點故障,RabbitMQ StatefulSet 的 pod 被困在原地,應用程式因此長時間無法使用,因為維運人員預期會自動重新排程,而 Kubernetes 根本不會為 StatefulSet 這麼做。

實際要監控的項目

  • 每個 RabbitMQ pod 的重新啟動次數,並長期追蹤。一天內重新啟動 10 次以上的 pod,是在告訴您某些事情不對勁。
  • pod 排程狀態——特別是任何處於 Pending、Unschedulable 或 ContainerCreating 超過 60 秒的 RabbitMQ pod。
  • 承載 RabbitMQ pod 的節點狀態。NotReady 的節點,就是 pod 中斷的倒數計時器。
  • StatefulSet 就緒狀態——預期的副本中,目前有幾個處於 Ready。
  • liveness 與 readiness probe 的失敗率。在負載下出現 probe 失敗,通常代表 broker 在完全故障之前就已經超載。

告警門檻

RabbitMQ StatefulSet 的副本數一低於預期值就立即告警。任何 pod 重新啟動都要告警。任何承載 RabbitMQ pod 的節點進入 NotReady 都要告警。這些全都是需要採取行動的狀況——您需要有人親自查看,而不是依賴一個在 StatefulSet 上未必有效的自動修復機制。

架構備註

如果您需要比 StatefulSet 預設行為更快地從節點故障中自動復原,有幾個選擇:使用 pod disruption budget 搭配節點排空(drain)自動化;將 RabbitMQ 部署在多個 Kubernetes 可用區域,讓單一區域故障不會拖垮整個叢集;或者——在某些情況下——乾脆把 broker 放在 Kubernetes 之外的專屬 VM 上執行。正確的選擇取決於您的復原時間目標,以及您在 Kubernetes 維運上的成熟度。

5. 網路 heartbeat 與節點間延遲

RabbitMQ 節點之間維持著分散式 Erlang 通訊,而這套通訊的健康狀態,決定了叢集能否維持為一個叢集。在 Kubernetes 上,網路層會帶來額外的延遲變異,可能造成誤判的節點故障——broker 以為某個對等節點掛了,因為 heartbeat 錯過了時間窗口,但實際上只是 Kubernetes CNI 一時變慢而已。

預設 60 秒的 Erlang net_ticktime 對 Kubernetes 環境來說通常太過激進,特別是使用 overlay 網路或有跨區域流量的環境。在為正式環境強化 Kubernetes 上的 RabbitMQ 叢集時,調整這個值是我們最先做的事情之一。

實際要監控的項目

  • 網路分割事件——RabbitMQ 會記錄在日誌中,而且應該立即告警。
  • RabbitMQ pod 之間的延遲(可透過簡單的 ping sidecar 或 service mesh 指標量測)。
  • Erlang 分散式通訊緩衝區使用率——rabbitmq_erlang_distribution_buffer_busy 會告訴您節點間通訊何時開始壅塞。
  • 節點層級的 TCP 連線狀態分布。TIME_WAIT 或 CLOSE_WAIT 連線數持續增加,可能代表網路問題正在醞釀。
  • 若有提供,也要看 CNI 層級的指標(Calico、Cilium 等)——RabbitMQ pod 之間的封包遺失就是預警的金絲雀。

告警門檻

任何網路分割事件都要告警。RabbitMQ pod 之間的 p99 延遲超過 10ms 時告警。Erlang 分散式通訊緩衝區使用率超過 50% 時告警。

調校建議

在 Kubernetes 上,請將 net_ticktime 從預設的 60 秒提高到 120 秒作為基準。這能讓 CNI 層有更多喘息空間,並在一般網路抖動下大幅減少誤判的叢集網路分割事件。tick time 拉長代表偵測真正故障節點的速度會稍微變慢,但在 Kubernetes 環境中,這項取捨壓倒性地有利於穩定性。

總結:您的告警哲學

監控這五個面向,目的不是產生更多告警,而是產生正確的告警。依我們的經驗,最少被半夜叫醒的維運人員並不是監控最少的那些人,而是以正確門檻監控正確項目的那些人。

Kubernetes 上的 RabbitMQ 叢集,合理的分級方式如下:

  • P1(立即呼叫):任何佇列失去 quorum。節點 NotReady。StatefulSet 副本數低於預期。任何發布者連線被阻擋。偵測到網路分割。
  • P2(上班時間呼叫):Raft follower 落後量持續成長。記憶體水位線超過 80%。磁碟延遲 p99 超過 50ms。pod 重新啟動。leader 選舉頻繁切換。
  • P3(僅顯示於儀表板,每週檢視):容量趨勢。磁碟填滿速度。連線數成長。佇列深度成長。

其他一切都是雜訊。如果您的值班輪值人員因為不屬於 P1 或 P2 的事情被呼叫,代表您的告警與真正重要的事情脫節了。

實務重點

只要您監控的是 Kubernetes 帶來差異的那些項目,Kubernetes 就是執行 RabbitMQ 的好平台。實體機監控的思維模式無法原封不動地套用過來。上述五類指標,是我們在每一個支援的 Kubernetes RabbitMQ 專案中都會監控的項目,也是我們建議每個在 Kubernetes 上執行 RabbitMQ 的團隊從第一天起就建置的監控。

如果您接手了一個 Kubernetes 上的 RabbitMQ 叢集,想快速評估它的監控狀況,請依序檢查以下五點:

  • 是否能看到每個佇列的 Raft 複寫健康狀態?如果不能,您對 quorum 就是在盲飛。
  • 記憶體水位線是否已針對 Kubernetes 設定(比較接近 0.4 而不是 0.8)?如果沒有,只要一次流量尖峰就會讓發布者被阻擋。
  • 是否監控每個 RabbitMQ 節點的磁碟延遲並設定告警?如果沒有,I/O 爭用發生時您將無從診斷。
  • 是否針對 StatefulSet 副本數與 pod 排程狀態設定告警?如果沒有,節點故障會讓您措手不及。
  • net_ticktime 是否已針對您的 Kubernetes 環境調整?如果仍是預設值,您就會不斷遇到誤判的網路分割。

任何在上述問題中有兩項以上回答「否」的叢集,距離親身體會為什麼答案必須是「是」,只差一次維運事故。

給 SRE 的 RabbitMQ 監控檢查清單

如果這篇文章您只讀一節,就讀這一節。上文說明了每個訊號為何重要;這裡則是要放進 Runbook 的清單。啟用 rabbitmq_prometheus 外掛(自 3.8 起內建),抓取每一個節點,並匯入官方的 Grafana 儀表板。接著監看四組指標。

叢集。每個節點都有回報(每個抓取目標的 up)、沒有網路分割(透過管理 API 健康檢查或 rabbitmqctl cluster_status,請見上文的網路分割一節)、仲裁佇列的 Raft leader 穩定(rabbitmq_raft_term_total 應保持持平;term 上升代表正在發生選舉),以及兩項資源警報都已解除(rabbitmq_alarms_memory_used_watermark 與 rabbitmq_alarms_free_disk_space_watermark 應為 0)。也要追蹤實際餘裕:rabbitmq_disk_space_available_bytes,以及 rabbitmq_process_resident_memory_bytes 相對於 rabbitmq_resident_memory_limit_bytes 的比例。

佇列。深度(rabbitmq_queue_messages_ready)、未確認訊息(rabbitmq_queue_messages_unacked)、消費者數量(rabbitmq_queue_consumers)與消費者使用率(rabbitmq_queue_consumer_utilisation,數值低代表消費者閒置、在等 broker;接近 1 則代表 broker 在等消費者)、重新投遞速率(rabbitmq_queue_messages_redelivered_total),以及死信速率。深度本身不是問題;消費者數量穩定、深度卻不斷攀升,才是問題。

吞吐量與延遲。發布與投遞速率(rabbitmq_queue_messages_published_total 與 rabbitmq_queue_messages_delivered_total,在一段時間窗口內計算速率),以及 publisher confirm 延遲。broker 不會直接匯出確認延遲,因此請在發布端應用程式中量測,或使用 canary 發布者。發布速率與投遞速率之間若出現始終無法縮小的落差,就是您能得到的最早容量訊號。

平台。pod 重新啟動(RabbitMQ StatefulSet 的 kube_pod_container_status_restarts_total)、來自儲存類別或 node exporter 的持久磁碟區延遲,以及 CPU 節流(container_cpu_cfs_throttled_periods_total 相對於 container_cpu_cfs_periods_total)。broker pod 上的節流只要超過幾個百分點,早在 RabbitMQ 本身出現任何異狀之前,就會先表現為確認延遲。上文的 pod 排程與磁碟 I/O 兩節說明了其中的機制。

以下是我們認為必備的八項告警及其起始門檻。請依您的工作負載調整;重點是在呼叫值班人員之前,先有一個警告。

指標警告呼叫
節點離線(up == 0)1 個節點持續 2 分鐘2 個以上節點,或 1 個節點持續 10 分鐘
偵測到網路分割任何一次,立即任何一次持續 5 分鐘
rabbitmq_raft_term_total 速率10 分鐘內超過 1 次選舉10 分鐘內超過 3 次
rabbitmq_alarms_memory_used_watermark記憶體超過上限的 70%警報觸發(發布者被阻擋)
rabbitmq_disk_space_available_bytes剩餘空間低於 20%低於磁碟剩餘空間下限的 2 倍
rabbitmq_queue_messages_ready持續成長 15 分鐘超過議定的最大深度達 5 分鐘
rabbitmq_queue_consumer_utilisation低於 0.6 達 10 分鐘低於 0.3 且深度持續成長
pod 重新啟動1 小時內 1 次1 小時內 3 次,或進入 CrashLoopBackOff

這張表沒有涵蓋兩件事。第一,未確認訊息上升、消費者數量卻持平,通常代表某個消費者卡住了,或 prefetch 設得太高;請針對每個關鍵佇列個別告警,而不是全域告警。第二,死信速率因工作負載而異,因此請針對偏離基準的變化告警,而不是設定固定數字。

將警告層級接到白天有人會看的通訊頻道,呼叫層級則接到值班人員。如果您要從頭建置叢集,我們的 Kubernetes 部署實戰手冊涵蓋了能讓大多數告警保持安靜的資源請求、儲存類別與反親和性(anti-affinity)規則。萬一其中某項告警仍然觸發,疑難排解指南會把每個症狀對應到修正方式。

需要協助強化您在 Kubernetes 上的 RabbitMQ 叢集嗎?

AceMQ 為金融服務、SaaS、醫療照護與 Fortune 1000 企業的客戶,在 Kubernetes 上維運正式環境的 RabbitMQ。我們建置監控堆疊、針對 Kubernetes 特有的故障模式調校 broker、驗證您的容錯移轉程序,並在上線後持續以顧問約形式提供服務,處理那些您希望永遠不會遇到的事故。

如果您的團隊正為 Kubernetes 上的 RabbitMQ 穩定性所苦——或正在規劃全新的 Kubernetes 部署,希望從一開始就把監控做對——歡迎與我們的團隊洽談 RabbitMQ 健康評估。我們會稽核您目前的監控狀況、找出缺口,並為您擬定補強計畫。如果您需要 RabbitMQ 商業技術支援或 RabbitMQ 顧問服務,這正是我們的專業。

常見問題

SRE 應該如何監控 RabbitMQ 叢集?

在每個節點上啟用 rabbitmq_prometheus 外掛,與 kube-state-metrics 及 cAdvisor 一起抓取,並匯入官方的 Grafana 儀表板。告警分成四組:叢集健康(節點存活、網路分割、Raft term 變化、記憶體與磁碟警報)、佇列健康(ready、unacked、消費者數量與使用率、重新投遞)、吞吐量(發布與投遞速率的比較、在發布端量測的確認延遲),以及平台健康(pod 重新啟動、PV 延遲、CPU 節流)。設定兩個層級:警告層級送到通訊頻道,呼叫層級則直接通知值班人員。上方表格列出了我們視為必備的八項告警及其起始門檻。

哪些 RabbitMQ 指標代表容量出了問題?

最早出現的訊號是發布速率持續高於投遞速率。接著是 rabbitmq_queue_messages_ready 不斷成長、rabbitmq_queue_consumers 卻維持不變,這代表您需要更多或更快的消費者。rabbitmq_queue_consumer_utilisation 接近 1 代表瓶頸在消費者;接近 0 則代表瓶頸在 broker。在 broker 端,常駐記憶體逐步逼近 rabbitmq_resident_memory_limit_bytes、rabbitmq_disk_space_available_bytes 持續下降,以及 pod 上的 CPU 節流,都表示節點規格不足。一旦記憶體或磁碟警報觸發,就代表容量已經用盡,發布者正被阻擋。

什麼原因會造成 RabbitMQ 叢集不穩定?

依我們的經驗,原因大致依序為:節點資源壓力或 pod disruption budget 設定錯誤所導致的網路分割;佇列過深或連線數毫無上限所觸發的記憶體警報;共用持久磁碟區上的磁碟爭用,讓 Raft 寫入慢到觸發 leader 選舉;StatefulSet pod 被重新排程到其磁碟區無法跟過去的節點;以及滾動升級期間各節點之間的版本落差。這些問題幾乎都會先以 rabbitmq_raft_term_total 上升或 pod 重新啟動的形式出現,這也是為什麼這兩項告警排在表格最上方。每個原因在上文都有專門的段落說明。

RabbitMQ 需要商業監控方案嗎?

不需要。rabbitmq_prometheus 外掛、Prometheus 與官方的 Grafana 儀表板都是免費的,維護良好,足以應付大多數環境,包括大型環境。它們無法提供的,是一位會在凌晨 3 點看這些指標、在三項告警同時觸發時知道哪一項才是真正問題,而且曾經在您所用的版本上修好過這個問題的人。這正是技術支援合約所提供的價值。我們涵蓋 3.8.x 到 4.x,並提供 依方案而定、最快 15 分鐘起的回應目標,因此價值在於回應,而不在於儀表板。請保留您自己的監控;需要解讀與修復時,再交給我們。

監控是 RabbitMQ on Kubernetes 指南八個步驟中的第六步,該指南依序說明 Operator、儲存、網路、資源請求與上限,以及滾動更新。

Scott Sternloff

作者

Scott Sternloff資深企業架構師

AceMQ 資深企業架構師。負責本站的技術類文章:RabbitMQ、Kafka 與 Redis 的架構、叢集與遷移。

Talk to an engineer

Need a hand with RabbitMQ?

Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.

免費諮詢

請專家檢視您的 RabbitMQ 叢集

無論您是在排除正式環境事故、規劃遷移,還是想針對架構聽聽第二意見,我們的團隊都已準備就緒。不推銷,只給答案。

寄信給我們