本頁內容
RabbitMQ 叢集應該有幾個節點?
「最低規模是一個叢集三個節點——而且在遇到真正極高的傳輸量需求之前,三個節點其實就是建議的常態。」
——Scott Sternloff,AceMQ 首席架構師,金融服務業者需求探索會議,2026 年 6 月
仲裁佇列的高可用性實際上如何運作?
- 訊息在確認之前會先寫入 N/2+1 個節點(N 為叢集規模)
- 在三節點叢集中,訊息在確認之前必須至少寫入兩個節點
- 如果一個節點故障,訊息仍可在其餘兩個節點上取得——不會遺失資料
- leader 選舉是自動進行的——如果某個佇列的主要節點故障,其中一個副本會被升格
如何依傳輸量規劃叢集規模?
「您不會想要不必要地過度配置,但也不會想要才剛上線就回頭說資源吃緊、又得重新爭取預算。關鍵在於兼顧重要需求與平衡。」
——Scott Sternloff,AceMQ 首席架構師,金融服務業者需求探索會議,2026 年 6 月
將叢集配置在三個可用區域
跨越多個區域、具有實際網路延遲的叢集,會遇到上文提到的 Raft 共識延遲,這是真實存在的限制。但在單一區域內使用三個可用區域,情況就不同了。同一區域內可用區域之間的往返時間通常只有一到兩毫秒,完全在 Raft 共識可容忍的範圍內,不會把正常延遲誤判為故障訊號。這就是為什麼每個可用區域一個節點是正式環境的標準模式,而不是一種妥協。
三個是下限,理由與本指南其他地方相同,只是套用在空間配置上:三個可用區域各放一個節點,就能用同一個三節點拓樸同時獲得節點層級與區域層級的容錯能力,不需要額外的節點。若三個節點全部執行在單一可用區域,就只有節點層級的容錯能力,缺少區域層級的容錯能力,等於完全失去了使用多可用區域區域的意義。
在三節點、三可用區域的叢集中,仲裁成員的配置會自動跟隨節點配置:每個佇列的三個副本預設會在每個區域各落一個,因為 RabbitMQ 會在每個節點各放一個成員,直到達到設定的群組大小為止。在跨越超過三個可用區域、或每個可用區域有超過三個節點的較大型叢集中,請不要假設這仍然成立;請將 queue-leader-locator 政策設為 balanced,並以 rabbitmqctl list_queues name leader members 確認關鍵佇列的副本沒有集中在同一個區域。
真正在整個區域斷線時保護您的,是 pause_minority,而不只是在單一節點故障時。這適用於 4.2 及更早的版本。在 RabbitMQ 4.3 及之後的版本,這已不再適用:4.3.0 移除了 Mnesia,連帶移除了網路分割處理策略;rabbitmq.conf 仍接受 cluster_partition_handling,但已沒有任何作用,而中繼資料儲存、仲裁佇列與 stream 都以 Raft 為基礎,因此由 Raft 的多數規則單獨決定哪一邊繼續提供服務。升級時請移除這個設定鍵。如果某個可用區域無法與其他兩個區域連線,被隔離的節點會自行暫停,而不是冒險成為分歧的事實來源,而彼此仍能互通的兩個可用區域則作為多數繼續維持叢集運作。設計告警時,應該把這種暫停視為區域中斷時的正確行為,而不是在中斷之外又多了一起事故。
請把延遲預算當作持續監看的訊號,而不是一次性的檢查。如果可用區域之間的往返時間持續高於大約五毫秒,不要把它當成隨機的網路分割來調校;而應視為該區域的可用區域配置或雲端供應商的網路路徑沒有表現出同區域應有的延遲,並在調查 RabbitMQ 之前先調查拓樸。
當某個區域真的中斷時,預期會依序發生三件事:該區域的節點會從存活節點上的 rabbitmqctl cluster_status 中消失;凡是 leader 位於該區域的佇列,都會在存活的副本之間進行新的選舉;而所有固定連到失聯區域節點的用戶端連線都會中斷,需要重新連到其他節點。請在三個節點前方放置負載平衡器或 DNS 項目,而不是把單一節點的位址寫死在用戶端設定中;對每個節點個別進行健康檢查,讓離線的區域無需手動操作就能自動移出輪替;並確認用戶端程式庫已啟用自動連線復原,讓中斷的連線能自行重新連到存活的節點,而不需要重新啟動應用程式。
在上線前證明高可用性:故障演練檢查清單
一個從未被刻意破壞過的叢集,它的高可用性承諾仍只停留在理論上。請在上線前,以及任何重大拓樸變更之後,逐一執行以下每一項,並安排專人觀察預期的結果,而不只是確認叢集最後有恢復。
- 直接終止一個節點(對 beam 程序執行
kill -9)。預期:其他兩個節點會在一個 heartbeat 間隔內回報它已離線,該節點上的仲裁佇列 leader 重新選舉,而啟用連線復原的用戶端會重新連線,應用程式不會出現錯誤。 - 以
rabbitmqctl stop_app正常排空一個節點。預期:在程序真正停止之前就完成 leader 交接,日誌中不會出現計畫外的選舉事件。 - 在網路層將一個區域與其他兩個區域分割。預期:被隔離的節點在
pause_minority下暫停,存活的多數持續運作,兩邊不會同時接受寫入。 - 將一個節點的磁碟寫滿。預期:本機觸發磁碟警報,該節點封鎖新連線,叢集其餘部分不受影響。
- 耗盡一個節點的記憶體。預期:觸發記憶體警報,連到該節點的發布者被封鎖,消費者則繼續消化已在佇列中的訊息。
- 在持續的、等同正式環境的負載下重新啟動一個節點。預期:它會重新加入叢集,副本自動重新同步,不需要人工介入,佇列深度也不會出現明顯的尖峰。
- 強制讓 TLS 憑證過期(或在較低層級的環境中模擬)。預期:連線會以明確的交握錯誤失敗,而不是無聲無息地卡住,藉此在真正的憑證過期之前確認您的輪替 runbook 確實有效。
- 特別針對目前擔任關鍵佇列 leader 的節點將其終止,而不是隨機挑選一個節點。預期:數秒內選出新的 leader,進行中的發布者確認由用戶端程式庫透明地重試。
- 同時停止某個可用區域內的所有節點,模擬整個區域中斷。預期:其餘兩個區域在整個過程中都能維持叢集與每一個仲裁佇列的可用性。
- 在動手處理某個節點之前,先透過健康檢查將它移出負載平衡器的輪替。預期:在您採取任何其他動作之前,流量就停止導向該節點,用戶端看不到任何錯誤。
- 執行滾動升級,一次一個節點。預期:叢集在整個過程中保持可用,混合版本的時間窗口在您規劃的維護時間內結束。
- 讓某個消費者在確認途中當機。預期:連線關閉後,它尚未確認的訊息會自動回到佇列中,不會遺失任何訊息。
- 在兩個可用區域之間注入人為延遲,而不是完全切斷連線。預期:這能讓您看到真實的網路壅塞在指標中呈現的樣貌,避免在實際事故中把它誤認為硬體故障。
對於執行在託管 Kubernetes 上的叢集,其中幾項演練(尤其是節點排空與滾動升級)的平台專屬版本,請參閱 RabbitMQ on EKS vs AKS vs GKE 以及企業級正式環境 RabbitMQ 架構。如果您的叢集已經上線,而您寧可請人在等同正式環境的負載下執行這份演練清單,而不是從頭撰寫腳本,這正是我們的 Kubernetes 關鍵任務穩定化服務與技術支援團隊經常執行的工作;若演練中發現真正的缺口,還有 依方案而定、最快 15 分鐘起的回應目標 作為後盾。
跨可用區域或跨站點的災難復原如何運作?
- 在次要站點維護整個 RabbitMQ schema 近乎即時的副本:所有佇列、繫結、exchange、虛擬主機、使用者與權限
- 以非同步方式將進行中的訊息轉送到次要站點,讓次要站點擁有最新的同步狀態
- 可隨時將次要站點升格為主要站點,所需的復原工作極少
- 支援雙向升格——任一站點都可以成為主要站點
「它是環境近乎即時的副本。交易實際上是以非同步方式傳送過去並獲得確認的。所以它不像一般的複本那樣,您還得追上所有進度——它是您所能取得的、訊息代理最新的同步狀態。」
——Scott Sternloff,AceMQ 首席架構師,金融服務業者需求探索會議,2026 年 6 月
跨站點的災難復原授權又是如何計算?
「如果您只鏡像正式環境,那麼較低層級的環境就不需要災難復原。您的 QA 環境甚至可能完全不需要叢集——它只有啟動或停止兩種狀態。所以您可以把架構大幅簡化,授權數量也能相應減少。」
——Scott Sternloff,AceMQ 首席架構師,金融服務業者需求探索會議,2026 年 6 月
在受法規監管的環境中,周邊的技術堆疊也有其自身的義務——請參閱受監管產業中的訊息技術堆疊。
如果您尚未決定的是在區域之間搬移訊息的機制,而不是叢集的規模與配置,這個決策有專屬的指南:災難復原該用 RabbitMQ federation 還是 Shovel。
如何測試 RabbitMQ 災難復原:我們在上線前執行的演練
一個從未在實戰中失去過節點的叢集,第一次失去節點時一定會讓您措手不及,而且通常是在凌晨 2 點。以下是我們在 RabbitMQ 叢集承載正式環境流量之前,與客戶一起執行的演練計畫。它大約需要一天,產出的是數據,而不是意見。
前置條件。
- 一個與正式環境配置相同的預備叢集:相同的節點數量、相同的可用區域配置、相同的 RabbitMQ 版本(從 3.8.x 到 4.x,我們都執行過這套演練)、相同的佇列類型、政策、用戶端程式庫與連線設定。仲裁佇列與經典佇列的故障方式不同,所以如果正式環境兩者都有,預備環境也要兩者都有。關於這一點為何重要,請參閱 /blogs/rabbitmq-classic-vs-quorum-queues/。
- 帶有序號的合成發布者與消費者。每個發布者都會在訊息上標記 stream id 與遞增的計數器;每個消費者都會記錄它看到的每個序號。如此一來,遺失(出現缺口)與重複(出現重複值)就能被計算,而不是各說各話。發布者使用 confirm,消費者使用手動 ack。
- 準備好儀表板:佇列深度、發布與投遞速率、記憶體與磁碟警報、每個節點的仲裁 leader 數量、連線與通道,以及用戶端的 confirm 延遲。看不到的東西,就無法判定是否通過。
- 一位指定的 runbook 負責人、一個共用頻道,以及一個計時器。
演練項目,依序執行。
- 終止一個仲裁成員。在一個作為大多數佇列 follower 的節點上停止 RabbitMQ。觀察它原本擔任 leader 的佇列上的 leader 選舉,並觀察發布者端的 confirm 延遲。通過標準:選舉在數秒內完成,消費者端沒有任何序號缺口,發布者的 confirm 在整個過程中持續送達。重新啟動該節點,確認它重新加入並追上進度。
- 終止承載最多 leader 的節點。leader 會集中在最先啟動的節點上,所以這是演練 1 的進階版。將它終止,觀察相同的訊號,再把它恢復,然後重新平衡:
rabbitmq-queues rebalance quorum通過標準:沒有遺失,confirm 持續送達,重新平衡後各節點的 leader 數量大致平均。
- 將磁碟寫到觸發可用空間警報。在一個節點上寫入大型檔案,直到觸發
disk_free_limit。通過標準:管理介面中顯示發布者連線遭到封鎖,發布作業停滯而不是失敗,消費者持續消化訊息,刪除檔案後發布作業會自行恢復。如果消費者也停止了,代表有消費者與發布者共用同一條連線;請在上線前修正。
- 分割節點之間的網路。在
cluster_partition_handling = pause_minority設定下,使用 iptables 封鎖一個節點與其他兩個節點之間的流量。通過標準:少數節點自行暫停,多數一方的仲裁佇列持續提供服務,連到暫停節點的用戶端看到連線錯誤,並從其位址清單中重新連到存活的主機;移除規則後,叢集無需人工介入即可自行恢復。請記錄用戶端寫下的日誌;那一行就是您的值班工程師將會看到的內容。
- 失去一個可用區域。同時停止某個可用區域內的所有節點。在三可用區域的配置中,多數節點會存活下來。通過標準:與演練 1 相同,零遺失且 confirm 持續送達。如果負載平衡器需要超過幾秒鐘才能移除失效的節點,請立即修正健康檢查。
- 區域容錯移轉。停止發布者,記下區域 A 中已確認的最高序號,讓區域 A 離線,再透過您所選擇的跨區域路徑容錯移轉到區域 B(請參閱 /blogs/rabbitmq-federation-vs-shovel-disaster-recovery/)。RPO 是在 A 中已確認、卻從未出現在 B 中的訊息數量;可直接從序號日誌讀出。RTO 是從中斷發生到消費者在 B 上執行的實際經過時間。通過標準:兩個數字都落在業務方簽核的目標之內。請把它們記下來;它們就是「我們的災難復原能力如何」這個問題的誠實答案。
- 無重複的容錯回復。恢復區域 A,並將流量導回 A。通過標準:消費者的序號日誌沒有出現重複。如果有,代表消費者不具冪等性,這需要修正的是應用程式,而不是 broker。
- 從備份還原。以
rabbitmqctl export_definitions匯出 definitions,銷毀預備叢集,重建後再重新匯入。通過標準:exchange、佇列、繫結、vhost、使用者、權限與政策全部恢復。也要清楚哪些不會恢復:訊息。definitions 備份是拓樸,而不是資料。訊息能否保存,取決於複寫與跨區域路徑,絕不是靠備份檔案。
| 演練 | 量測項目 | 通過標準 |
|---|---|---|
| 終止一個成員 | 選舉時間、序號缺口、confirm 流程 | 數秒、零、不中斷 |
| 終止承載最多 leader 的節點 | 同上,另加重新平衡後的 leader 分布 | 同上,大致平均 |
| 磁碟警報 | 發布者狀態、消費者傳輸量 | 遭封鎖、持續消化 |
| 網路分割 | 少數方行為、用戶端重新連線 | 暫停、重新連線、自行恢復 |
| 失去一個可用區域 | 多數方持續運作 | 零遺失 |
| 區域容錯移轉 | 以訊息數計的 RPO、以分鐘計的 RTO | 落在議定目標之內 |
| 容錯回復 | 重複數量 | 零 |
| 從備份還原 | 重新匯入 definitions | 完整拓樸恢復 |
執行頻率。在上線前,以及任何拓樸變更之後——新增節點、搬移可用區域、主要版本升級、變更網路分割處理方式——都應執行完整的演練計畫。每季執行一次單一節點終止;它成本低廉,能抓出沒有人刻意引入的用戶端重新連線偏差。區域容錯移轉至少每年執行一次,並在 runbook 負責人更換時再執行,因為一份在場沒有任何人執行過的 runbook 只是一份文件,而不是一項能力。/blogs/top-10-rabbitmq-troubleshooting-issues-how-to-avoid-them/ 中的大多數故障,其實都會先在這些演練中浮現。
包含演練在內的規模規劃與災難復原審查,是 AceMQ 的標準服務項目;請參閱 /rabbitmq/。
How to test RabbitMQ disaster recovery: the drill we run before go-live
A cluster that has never lost a node in anger will surprise you the first time it does, usually at 2am. This is the programme we run with clients before a RabbitMQ cluster carries production traffic. It takes about a day and produces numbers rather than opinions.
Pre-conditions.
- A staging cluster shaped like production: same node count, same AZ placement, same RabbitMQ version (we run this on everything from 3.8.x to 4.x), same queue types, policies, client libraries and connection settings. Quorum and classic queues fail differently, so if production has both, staging has both. See /blogs/rabbitmq-classic-vs-quorum-queues/ for why that matters here.
- Synthetic publishers and consumers with sequence numbers. Each publisher stamps messages with a stream id and an increasing counter; each consumer records every sequence it sees. That makes loss (a gap) and duplication (a repeat) countable instead of arguable. Publishers use confirms, consumers use manual acks.
- Dashboards up: queue depth, publish and deliver rates, memory and disk alarms, quorum leader count per node, connections and channels, and client-side confirm latency. If you cannot see it, you cannot pass it.
- A named runbook owner, a shared channel, and a clock.
The drills, in order.
- Kill one quorum member. Stop RabbitMQ on a node that follows most queues. Watch leader election on the queues it led and watch confirm latency at the publishers. Pass: election completes in a few seconds, zero sequence gaps at the consumers, publisher confirms keep arriving throughout. Restart the node and confirm it rejoins and catches up.
- Kill the node holding the most leaders. Leaders pile onto whichever node was up first, so this is the harder version of drill 1. Kill it, watch the same signals, bring it back, then rebalance:
rabbitmq-queues rebalance quorumPass: no loss, confirms continue, and after the rebalance the leader count is roughly even across nodes.
- Fill a disk to the free-disk alarm. Write a large file on one node until
disk_free_limittrips. Pass: publisher connections show as blocked in management, publishes stall rather than fail, consumers keep draining, and publishing resumes on its own once the file is deleted. If consumers stop too, a consumer is sharing a connection with a publisher; fix that before go-live.
- Partition the network between nodes. With
cluster_partition_handling = pause_minority, block traffic between one node and the other two using iptables. Pass: the minority node pauses itself, quorum queues on the majority side keep serving, clients on the paused node see a connection error and reconnect to a surviving host from their address list, and the cluster heals without manual intervention when the rule is removed. Record what the clients logged; that line is what your on-call engineer will see.
- Lose an availability zone. Stop every node in one AZ at once. In a three-AZ layout a majority survives. Pass: identical to drill 1, zero loss and continuing confirms. If the load balancer takes more than a few seconds to drop the dead nodes, fix the health check now.
- Regional failover. Stop the publishers, note the highest sequence confirmed in region A, take region A down, and fail over to region B using whichever cross-region path you chose (see /blogs/rabbitmq-federation-vs-shovel-disaster-recovery/). RPO is the count of messages confirmed in A that never appear in B; read it straight from the sequence logs. RTO is wall-clock time from the outage to consumers running against B. Pass: both numbers sit inside the targets the business signed off on. Write them down; they are the honest answer to "what is our DR posture".
- Failback without duplicates. Bring region A back and return traffic to it. Pass: consumer sequence logs show no repeats. If they do, the consumers are not idempotent, and that is an application fix, not a broker fix.
- Restore from backup. Export definitions with
rabbitmqctl export_definitions, destroy the staging cluster, rebuild it, re-import. Pass: exchanges, queues, bindings, vhosts, users, permissions and policies all come back. Know what does not: messages. A definitions backup is topology, not data. Message survival comes from replication and the cross-region path, never from a backup file.
| Drill | What you measure | Pass criterion |
|---|---|---|
| Kill one member | Election time, sequence gaps, confirm flow | Seconds, zero, uninterrupted |
| Kill the leader-heavy node | Same, plus leader spread after rebalance | Same, roughly even |
| Disk alarm | Publisher state, consumer throughput | Blocked, keeps draining |
| Network partition | Minority behaviour, client reconnect | Pauses, reconnects, self-heals |
| Lose an AZ | Majority continues | Zero loss |
| Regional failover | RPO in messages, RTO in minutes | Inside agreed targets |
| Failback | Duplicate count | Zero |
| Restore from backup | Definitions re-imported | Full topology back |
Cadence. Run the full programme before go-live and again after any topology change: a new node, an AZ move, a major version upgrade, a change to partition handling. Run the single-node kill quarterly; it is cheap and catches client reconnect drift nobody meant to introduce. Run the regional failover at least yearly and whenever the runbook owner changes, because a runbook nobody present has executed is a document, not a capability. Most of the failures in /blogs/top-10-rabbitmq-troubleshooting-issues-how-to-avoid-them/ would have surfaced in one of these drills first.
A sizing and DR review, drills included, is a normal AceMQ engagement; see /rabbitmq/.
This post is one step in two longer sequences: the RabbitMQ disaster recovery guide takes HA and DR from the failure you are protecting against through to the failover test, and the clustering and sizing guide covers the node, queue-type and sizing decisions that come first.
常見問題
我們該如何測試 RabbitMQ 的災難復原?
建立一個與正式環境配置相同的預備(staging)叢集,執行會為每則訊息加上序號的合成發布者與消費者,然後依序製造故障:一個節點、承載最多 leader 的節點、磁碟已滿、網路分割、整個可用區域,最後是整個區域。每項演練都有可量測的通過標準,而序號日誌能準確告訴您遺失或重複了多少則訊息。區域層級的演練會給出真實的 RPO 與 RTO 數據。最後以匯出並重新匯入 definitions 收尾,讓團隊至少有一次從零還原叢集的經驗。
RabbitMQ 容錯移轉應該多久測試一次?
在上線前,以及任何拓樸變更之後——包括新增節點、搬移可用區域、主要版本升級,以及網路分割處理方式的變更——都應執行完整的演練計畫。每季終止一次單一節點;這只需要一小時,就能及早發現用戶端重新連線的退化問題。區域容錯移轉至少每年執行一次,並在 runbook 負責人更換時再執行一次,因為演練的意義在於讓值班人員真的親手做過。如果目前輪值表上沒有任何人執行過容錯移轉,就代表您已經拖太久了。簽訂技術支援合約的 AceMQ 客戶可以與我們排定這些演練,萬一真的發生容錯移轉,還有 依方案而定、最快 15 分鐘起的回應目標;請參閱 /support/。
可以請專家幫我們規劃 RabbitMQ 叢集規模嗎?
可以。AceMQ 是 Broadcom 獨家的 RabbitMQ 策略 MSP 合作夥伴,我們的規模規劃服務從您的真實數據開始:訊息速率、酬載大小、佇列數量、消費者數量、消費者中斷期間需要保留的訊息量,以及業務真正需要的 RPO 與 RTO。產出內容包括節點數量與可用區域配置、含預留餘裕的每節點 CPU、記憶體與磁碟數據、仲裁佇列與政策設定、網路分割處理建議、必要時的跨區域設計,以及在上線前驗證成果的演練計畫。規模規劃是更完整的高可用性與災難復原審查的一部分;請參閱 /rabbitmq/。
如何設計橫跨多個可用區域的 RabbitMQ 叢集?
每個可用區域放置一個節點,並以三個可用區域作為標準基準,因為同一區域內可用區域之間的延遲通常只有一到兩毫秒,完全在 Raft 共識可容忍的範圍內。在三節點叢集中,仲裁成員的配置會自動跟隨節點配置,讓每個佇列在每個區域各有一個副本。若某個區域無法連線,`pause_minority` 會保護您:被隔離的節點會暫停,而存活的兩個區域所組成的多數則持續運作。在三個節點前方放置負載平衡器或 DNS 項目,並啟用用戶端的連線復原功能,這樣失去一個區域時就不需要手動重新連線。
如何在上線前測試 RabbitMQ 的高可用性?
執行一套結構化的故障演練,涵蓋終止節點、正常排空、區域層級的網路分割、磁碟與記憶體耗盡、滾動升級,以及完整模擬的可用區域中斷,並為每一項寫下預期觀察到的結果。目標是證明叢集的行為符合您架構的假設,而不只是確認它最後會恢復上線。請在上線前執行,並在任何重大拓樸或版本變更之後再執行一次,因為未經測試的高可用性假設,往往要到真正的事故發生時才第一次浮上檯面。
How do I test RabbitMQ high availability before production?
Run a structured failure drill covering node kills, graceful drains, zone-level partitions, disk and memory exhaustion, rolling upgrades, and a full simulated AZ outage, each with a written expected observation. The goal is proving the cluster behaves the way your architecture assumes it will, not just confirming it eventually comes back online. Do this before go-live and again after any significant topology or version change, since untested assumptions about HA tend to surface for the first time during a real incident.