部落格RabbitMQ

RabbitMQ 災難復原:Federation 與 Shovel 該選哪一個、何時使用

Scott Sternloff

作者:Scott Sternloff(資深企業架構師)

LinkedIn · 更新日期: · 閱讀時間 19 分鐘

RabbitMQ 災難復原:Federation 與 Shovel 該選哪一個、何時使用
On this page

跨區域 RabbitMQ 是訊息搬移問題,不是複寫問題

規劃第二個區域的架構師最常問我們的,大致都是同一個問題:「RabbitMQ 災難復原該用 federation 還是 shovel?」這個問題問得對,但背後藏著一個錯誤的假設。這兩個外掛都是在不共享任何狀態的叢集之間搬移訊息。兩者都不會複製佇列,也都不會讓兩個叢集保持同步。如果您的災難復原計畫預期備援端在主要端故障時持有相同的訊息,federation 和 shovel 都會讓您失望,而且失望會在最糟的時機到來。

那麼,RabbitMQ federation 適合用來做災難復原嗎?適合,但只適用於特定型態的災難復原:您接受傳輸中訊息有上限的遺失或重複窗口、消費者設計成能承受重播,並利用外掛讓第二個區域維持溫熱、接收它所需的流量。shovel 也是如此。本文說明這兩個外掛在 RabbitMQ 3.13 與 4.x 中實際做了什麼、它們的語意在哪些地方對復原有關鍵差異,以及我們如何把兩者組合成一套雙區域設計,在區域中斷時既不會憑空產生訊息,也不會無聲地遺失訊息。

先界定範圍。單一區域內的叢集規模、節點數量與多可用區域配置,已在我們的RabbitMQ 高可用性與叢集規模規劃指南中說明,這裡不再重複。

federation 如何運作:exchange、佇列、上游與跳數

federation 是拉取模型。下游叢集宣告一個上游,對它開啟 AMQP 連線並要求訊息。連結由下游擁有,所以您要設定的是下游這一側;不過我們會在兩側都啟用外掛,以便角色可以互換。

federation 有兩種。exchange federation 讓下游的某個 exchange 接收發布到上游同名 exchange 的訊息。底層的做法是,下游在上游建立一個內部佇列,用與下游 exchange 相同的 binding 綁定它,再從中消費。只有符合下游 binding 的訊息會跨越連結,因此沒有任何 binding 的下游什麼也拉不到。queue federation 讓下游佇列從上游的同名佇列拉取訊息,但只在下游佇列有消費者、且上游佇列有就緒訊息時才會發生。它是在站點之間分攤負載,而不是複製:移到下游的訊息就會從上游佇列中消失。

上游定義中的 max-hops 參數,控制訊息在一連串 federated exchange 中能傳播多遠。預設值是 1:訊息跨越一條連結後就停止。federation 會在每一跳加上 x-received-from 標頭,並且不會把訊息轉送回它已經經過的上游,這正是雙向架構中防止迴圈的機制。除非您刻意要建立網狀架構,否則請讓 max-hops 維持為 1。

上游無法連線時,下游會繼續服務本地的發布者與消費者。連結每隔 reconnect-delay 秒(預設五秒)重試一次,直到上游恢復。中斷期間發布到上游的訊息會累積在上游端的內部佇列中,唯一的上限是您在上游定義上設定的 message-ttl 與 expires,連結恢復後才會排空。這是 federation 對災難復原最有用的特性,也是最常見的陷阱,因為長時間中斷時,沒有上限的上游佇列可能把上游推進磁碟告警。

在健康的連結上,訊息順序會被保留,因為內部佇列是只有一個消費者的 FIFO。但跨越重新連線時則無法保證,而且預設的 ack-mode,也就是 on-confirm,可能會重新傳遞連結中斷時仍在傳輸中的訊息。federation 在連結上提供的是至少一次傳遞,絕不是恰好一次。說得更直白一點:federation 不是複寫,也不是鏡像。備援端上的 federated exchange,對主要端佇列中尚未被消費的訊息一無所知。

# On the downstream (standby) cluster
rabbitmqctl set_parameter federation-upstream east \
  '{"uri":["amqps://fed:REDACTED@east-a.example.internal:5671","amqps://fed:REDACTED@east-b.example.internal:5671"],"max-hops":1,"ack-mode":"on-confirm","message-ttl":3600000,"expires":86400000,"reconnect-delay":5}'

rabbitmqctl set_policy --apply-to exchanges federate-events "^events\." \
  '{"federation-upstream-set":"all"}'

URI 刻意設成清單。如果第一個上游節點離線,連結就會嘗試下一個,這正是災難復原連結應有的行為。

shovel 如何運作:靜態、動態與 ack 模式

shovel 是在訊息代理內部把一個消費者和一個發布者黏在一起。它從來源佇列消費,發布到目的地的 exchange 或佇列,再依照 ack-mode 在來源端進行 ack。訊息會離開來源。這就是它與 exchange federation 的根本差異:shovel 是搬移,federation 則是依照 binding 複製。

靜態 shovel 寫在 advanced.config 中,變更時需要重新啟動節點,因此適合固定不變的管線。動態 shovel 是執行期參數,以 rabbitmqctl set_parameter shovel 或管理 API 建立,可以在線上新增、修改與刪除。在災難復原中我們幾乎只用動態 shovel,因為容錯移轉與容錯回復正是您需要在不重啟節點的情況下重新設定的時刻。動態 shovel 在單一節點上執行;如果該節點故障,shovel 會在另一個節點上重新啟動。

ack-mode 決定了 shovel 可能遺失什麼。使用預設的 on-confirm 時,shovel 要等目的地確認後才會 ack 來源訊息,因此在發布與確認之間當機,最多只會造成重複,絕不會遺失。使用 on-publish 時,shovel 在訊息寫入目的地連線後、確認之前就進行 ack,因此目的地若在錯誤的瞬間故障,訊息就會遺失。使用 no-ack 時,shovel 在來源端採用自動 ack,任何環節故障,prefetch 緩衝區中的訊息就全部遺失。對災難復原流量來說,正確答案只有一個,就是 on-confirm。

重新連線的行為與 federation 相同:任一端點失聯時,shovel 會等待 reconnect-delay 秒後無限次重試,除非 src-delete-after 指示它在佇列排空後停止。這個選項適合一次性的遷移與容錯回復,也就是您希望 shovel 清空某個佇列後自行移除的場合。

Shovel 可以組成扇入與扇出拓樸。扇入是多個 shovel(每個來源叢集一個)發布到同一個目的地 exchange;我們用它把各區域的稽核或計費事件匯集到中央叢集。扇出則是同一個叢集上的多個 shovel,各自讀取綁定到同一個 exchange 的自有來源佇列,並送往不同的目的地。單一 shovel 無法扇出,因為每則訊息它只消費一次。

rabbitmqctl set_parameter shovel orders-dr-to-west \
  '{"src-protocol":"amqp091","src-uri":"amqps://shovel:REDACTED@east-lb.example.internal:5671","src-queue":"orders.work.dr","src-prefetch-count":500,"dest-protocol":"amqp091","dest-uri":"amqps://shovel:REDACTED@west-lb.example.internal:5671","dest-queue":"orders.work.standby","ack-mode":"on-confirm","reconnect-delay":5}'

兩個外掛都給不了的東西:同步複寫

在單一叢集內,仲裁佇列會先以 Raft 把每則訊息複寫到多數成員,才回覆確認給發布者。已確認的訊息在少數節點遺失時仍能保住,沒有缺口,也不需要重播。這就是同步複寫,也是仲裁佇列成為區域內持久性工作負載預設選擇的原因。

federation 與 shovel 都不會做類似的事。兩者都是在主要端確認路徑之後執行的非同步消費者。主要端的仲裁佇列一提交,發布者就會收到確認;備援端則要等連結消費這則訊息、經由 WAN 送過去、再由備援端確認之後,才會收到它。這段落差就是您的風險敞口。在健康的連結上通常只有數十毫秒,但絕不會是零;而在連結中斷期間,它會一直擴大,直到連結恢復為止。

Broadcom 的商業版 Tanzu RabbitMQ 發行版內含 warm standby 複寫功能,能把 schema 與訊息資料從主動叢集複寫到被動叢集,是一項具備獨立維運模式的產品功能。這項功能確實存在,對某些組織來說也是正當的解法,但它不屬於開源發行版。由於細節屬於原廠文件的範疇,這裡不再贅述;不過,如果您的合規要求需要一套完整受支援的叢集間複寫功能,那就是該進行的對話,而身為 Broadcom 的 RabbitMQ 策略 MSP 合作夥伴,我們經常參與這樣的討論。

對其他所有人來說,誠實的說法是:跨區域的 RabbitMQ 災難復原是非同步的,設計工作的重點在於限制風險敞口,並讓應用程式不受其影響。

決策表:在 federation 與 shovel 之間做選擇

整個環境很少是非此即彼。選擇是逐一針對每個 exchange 與每個佇列進行的,取決於訊息代表的意義,以及消費者能承受什麼。

考量項目傾向 exchange federation傾向 shovel
RPO 預期數秒,上限取決於連結延遲;中斷期間由上游佇列緩衝數秒;中斷期間由來源佇列緩衝
RTO 預期低;備援端已有 binding 與即時流量低至中;備援端佇列需要啟動消費者
Active-active可以,以 max-hops 1 建立雙向連結不順手;每個佇列都必須嚴守單一方向
Active-passive可以,單一方向,容錯回復時反轉可以,這正是它最適合的場景
兩個站點都有消費者必要;每個站點消費自己的副本通常只有一個站點消費,另一個保留緩衝
訊息順序健康連結上每條連結維持 FIFO;跨重新連線則不保證健康連結上每個 shovel 維持 FIFO;跨重新連線則不保證
重複訊息使用 on-confirm 時,重新連線可能產生使用 on-confirm 時,重新連線可能產生
只能執行一次的工作不適合;每個站點都會收到一份適合;訊息被搬移,只由一個站點處理
事件廣播到多個站點非常適合不適合;每個佇列的每個目的地都需要一個 shovel
高延遲或易掉封包的 WAN耐受;拉取模型、自動重試,可調整 prefetch-count耐受;相同的重試模型,可調整 src-prefetch-count
拓樸變更自動跟隨 binding逐一佇列明確設定,必須持續維護

請把這張表當作預設原則。許多服務都會訂閱、而且每個區域都應該看到每一則的事件,適合放在 federated exchange 上。命令與工作則只應由一個 worker 執行,適合放在本地處理的佇列中,或刻意以 shovel 送往單一目的地。

我們如何設計多區域 RabbitMQ:雙區域參考架構

客戶問「多區域的 RabbitMQ 要怎麼設計?」時,期待的是一張架構圖。誠實的答案是:在同一對叢集上疊加兩層,一層給事件,一層給工作。

假設有兩個區域,East 為主要端、West 為備援端,各自執行三節點叢集,所有持久性資料都使用仲裁佇列。兩個叢集具有完全相同的 definitions:exchange、佇列、binding、政策與使用者,由部署 pipeline 從 East 匯出並套用到 West,因此不可能發生設定漂移。如果基本的 exchange 與 binding 配置還沒定案,可以參考我們關於微服務的 exchange、佇列與 binding 的文章;正式環境 RabbitMQ 架構指南則說明了本文在整體架構中的位置。

事件層使用雙向的 exchange federation。每個名為 events.* 的 topic exchange 都經過 federation:West 是 East 的下游,East 也是 West 的下游,max-hops 設為 1。訂閱事件的服務在兩個區域都有執行,並從綁定到本地 federated exchange 的本地佇列消費。正常運作時,幾乎所有訊息都由 East 發布,West 接收副本,由其訂閱者處理(讀取模型、快取、搜尋索引),反向連結則處於閒置。由於跨越連結的內容由 binding 決定,只存在於 East 的訂閱者不會把它的流量拖進 West。

工作層則是 shovel 發揮價值的地方。East 中的每個命令佇列,例如 orders.work,由來自 orders.cmd exchange 的 binding 提供訊息。第二個 binding 把相同的訊息路由到 orders.work.dr,這是一個仲裁佇列,其 message-ttl 設為一張訂單在 East 中合理可能未被處理的最長時間,通常是十五到三十分鐘。一個 on-confirm 的動態 shovel 會持續把 orders.work.dr 搬到 West 的 orders.work.standby,後者也設定相同的 TTL。正常運作時沒有任何人消費 orders.work.standby;訊息抵達、逾期,然後消失。這個佇列是近期工作的滾動窗口,而不是主要端積壓的鏡像。

正常運作時,命令消費者只在 East 執行。West 已準備好部署,但命令消費者縮減為零,事件訂閱者則持續執行。發布者透過解析到 East 的 DNS 名稱或全域負載平衡器項目連線。

# Applied on both clusters via the definitions pipeline
rabbitmqctl set_policy --apply-to queues dr-window "^orders\.work\.(dr|standby)$" \
  '{"message-ttl":1800000}'

撐過區域中斷:容錯移轉與容錯回復,不產生重複也不形成迴圈

「區域中斷時,訊息要如何保住?」可以拆成三個時刻:中斷本身、容錯移轉的決策,以及容錯回復。

中斷期間,外掛不需要任何處理。West 到 East 的 federation 連結失效,每五秒重試一次。來自 East 的 shovel 無法連線,也會持續重試。West 的事件訂閱者繼續處理已送達的訊息。故障前幾秒在 East 發布、尚未跨越連結的訊息會卡在 East,直到 East 恢復;這就是 RPO,必須由應用程式層透過發布端的 outbox 或從記錄系統重播來負責。

容錯移轉是刻意的動作,不是自動的。我們曾親眼看過,一次監控雜訊觸發了自動跨區域容錯移轉,造成消費者腦裂,花了一整個週末才整理乾淨。runbook 很短:透過獨立的探測確認 East 真的無法使用;把發布者的 DNS 或負載平衡器項目改指向 West;把 West 的命令消費者從零擴充;確認它們正在排空 orders.work.standby。佇列中所有比 TTL 新的訊息都會被處理,也就是說,East 在最後這個窗口內已完成的工作會再被處理一次。這是刻意的設計。每個命令消費者都帶有冪等鍵,而 TTL 限制了備援端可能遇到的重複工作總量。

此時 West 成為主要端。重要的是它的 events.* 流量,等 East 恢復後,以 East 為下游的 federation 連結會把這些流量排送到 East。West 中的命令會進入 orders.work 並在本地處理,同時有一份副本路由到 West 的 orders.work.dr,為反向 shovel 做好準備。

容錯回復如果操之過急,就是產生重複與迴圈的時候。我們使用的順序是:讓 East 上線,但不讓任何發布者指向它,命令消費者也維持為零;讓 West 到 East 的 federation 連結排空事件積壓;建立一個 on-confirm 的反向 shovel,從 West 的 orders.work.dr 送到 East 的 orders.work.standby;接著在離峰時段把發布者改指回 East、擴充 East 的消費者、縮減 West 的消費者,並以 src-delete-after 設為 queue-length 的方式移除反向 shovel,讓它在佇列清空後自行結束。整個過程中,絕不會有兩個 shovel 以相反方向搬移同一個佇列,也絕不會有命令消費者在兩個區域同時針對同一個邏輯佇列執行。

事件層不會形成迴圈,因為 max-hops 為 1 加上 x-received-from 標頭,會阻止已跨越一條連結的訊息再跨回去。工作層只有在有人把 shovel 送進某個 exchange,而該 exchange 的 binding 又會餵回 shovel 自己的來源佇列時,才會形成迴圈。規則是:shovel 一律送進指定名稱的目的地佇列,絕不送進餵給來源的那個 exchange。

上線前應執行的故障演練

從未實際演練過的災難復原設計,只是一個假設。我們會在第一次正式切換前與客戶一起執行這些演練,之後每季再執行一次。

在防火牆封鎖兩個叢集之間的 WAN 連接埠三十分鐘,觀察上游端的 federation 佇列與 orders.work.dr 的成長。確認您設定的 message-ttl 與 expires 確實限制了成長,而且兩個叢集都沒有逼近磁碟告警門檻。恢復連結後,量測在實際的 prefetch 設定下排空積壓需要多久。

在連結中斷期間發布一批已知數量、帶有編號的訊息,恢復連結後清點實際抵達的數量。這項演練能揪出有人「為了效能」而設定的 no-ack shovel 與 on-publish 連結。

分別重新啟動擁有 federation 連結的節點與擁有 shovel 的節點,確認兩者都會在其他節點上重新建立。每次重新啟動後,都要檢查 rabbitmqctl federation_status 與 rabbitmqctl shovel_status,而不只是瞄一眼管理介面。

刻意塞滿備援端的某個佇列,觸發記憶體告警。federation 連結會發布到下游,因此下游的告警會像阻擋其他發布者一樣阻擋這條連結,上游佇列也會開始成長。確認您的告警機制能抓到被阻擋的連結,而不只是告警本身。

以真實的消費者與合成流量,對備援端完整執行一次容錯移轉 runbook,接著再完整執行容錯回復。清點每個階段處理到的重複訊息,並確認冪等層把它們全部丟棄。為兩個程序計時,並把數據寫進 runbook,因為那才是您真正的 RTO 數字。

輪替上游與 shovel URI 中的憑證,確認連結會重新連線。在真正的中斷期間才發現 federation 憑證已過期,這種故障模式我們已經不只一次遇過。

我們在正式環境中常見的錯誤

最常見的錯誤,是把 federation 當成複寫,直到事故發生才發現備援端完全沒有主要端尚未消費的積壓。解法在架構層面:必須保住的工作,需要採用災難復原緩衝佇列加 shovel 的模式,或應用程式層的 outbox。

緊追在後的是上游定義既沒有 message-ttl 也沒有 expires。上游上的內部 federation 佇列是持久性的,在長時間的連結中斷中會持續成長,直到上游觸發磁碟告警、停止接受所有人的發布,把備援端的問題變成主要端的中斷。

因為某次基準測試顯示傳輸量較高,就把 Shovel 設為 no-ack 或 on-publish。傳輸量的提升是真的,遺失也是真的。如果 shovel 需要更快,請提高 src-prefetch-count 並維持 on-confirm。

同一個佇列上的雙向 shovel,通常是在倉促的容錯回復中建立、之後從未移除。它們會把同一批訊息來回傳遞,直到有人注意到計數器為止。

上游 URI 中只有單一主機名稱。當故障的恰好就是那個節點時,即使主要叢集的其他節點都健康,備援端的連結也無處可去。請提供一份 URI 清單,或一個會對節點做健康檢查的負載平衡器位址。

區域之間的 definitions 發生漂移。存在於 East 卻不存在於 West 的佇列,會讓 shovel 陷入重試迴圈;更糟的是發布到一個沒有 binding 的 exchange,訊息就此被丟棄。請在部署應用程式的 pipeline 中,從主要端匯出 definitions 並套用到備援端。

沒有監控連結狀態。凌晨三點不會有人盯著管理介面。請把 federation_status 與 shovel_status 匯出到您的指標管線,只要有任何連結處於非 running 狀態超過重新連線延遲,就發出告警。

最後是 DNS TTL 與連線池,在紀錄變更後很久仍讓發布者黏在故障的區域。除非另有設定,用戶端程式庫會重新連線到它們在啟動時解析的位址,因此容錯移轉 runbook 必須包含重新啟動用戶端,或者用戶端必須設定兩個區域的端點。

下一步

本文刻意只聚焦在叢集之間的連線上。每個叢集該多大、節點如何分散到各可用區域,以及仲裁佇列該如何設定,請參閱我們的RabbitMQ 高可用性與災難復原叢集規模規劃指南。federation 與 shovel 這兩層所依附的訊息拓樸,說明於微服務的 exchange、佇列與 binding,企業部署的端到端架構則請見正式環境 RabbitMQ 架構指南。

如果您在正式環境中執行 RabbitMQ 3.8.x 到 4.x,並且希望第二個區域是真正做過容錯移轉與容錯回復的,而不只是白板上的一張圖,AceMQ RabbitMQ 技術支援提供 依方案而定、最快 15 分鐘起的回應目標,由實際做過的工程師處理;我們的 RabbitMQ 顧問服務則會與您的團隊一起設計、建置並演練這套架構,在它必須真正派上用場之前做好準備。

這項決策在整體設計中的位置——區分高可用性與災難復原、definitions 備份、復原目標以及容錯移轉測試——請參閱RabbitMQ 災難復原指南。

常見問題

RabbitMQ 災難復原該用 federation 還是 shovel?

每個區域都需要看到的事件流量,請使用 exchange federation:它會自動跟隨 binding、以上游端緩衝撐過連結中斷,而且在 max-hops 設為 1 時可以安全地雙向連結。每則訊息只應由一個區域處理的工作佇列,請使用 ack 模式為 on-confirm 的動態 shovel,因為 shovel 是把訊息搬移到指定目的地,而不是複製。多數正式環境的災難復原設計會兩者並用:federation 負責事件層,shovel 負責近期命令的滾動式災難復原緩衝。兩者都不是複寫,因此必須搭配冪等的消費者與發布端的 outbox。

RabbitMQ federation 適合用來做災難復原嗎?

如果災難復原設計可以接受非同步傳遞,以及有上限的遺失或重複窗口,那就適合。federation 會持續把備援區域有 binding 的事件送過去,在連結中斷期間於上游端緩衝,並自動重新建立連結。它不會複製尚未消費的佇列積壓,不會同步複寫,也不是鏡像。如果您的需求是備援端必須保有主要端在故障那一刻所持有的完全相同的訊息,開源版的 federation 無法做到,您應該評估商業版的 warm standby 複寫功能,或應用程式層的 outbox。

多區域的 RabbitMQ 要怎麼設計?

每個區域執行一個獨立的叢集,並由同一條 pipeline 部署完全相同的 definitions。事件 exchange 以 max-hops 為 1 進行雙向 federation,讓每個區域的訂閱者都消費本地副本。工作佇列則在主要端加上一個災難復原副本佇列,其訊息 TTL 與您可接受的重新處理窗口一致,再以 on-confirm 的 shovel 送進備援端一個在容錯移轉前沒有任何人消費的待命佇列。命令消費者一次只在一個區域執行,發布者透過可切換的 DNS 或負載平衡器項目連線,並且讓容錯移轉成為 runbook 中刻意執行的步驟,而不是自動觸發。

區域中斷時,訊息要如何保住?

訊息之所以能保住,是因為它們會緩衝在中斷連結的其中一側,等連結恢復後再送達。federation 在上游端的佇列中緩衝,上限由 message-ttl 與 expires 決定;shovel 則在來源佇列中緩衝。主要端在故障前一刻已確認、卻還沒送出的訊息,就是剩餘的 RPO,只有發布端的 outbox 或從記錄系統重播才能補上這個缺口。消費者必須具備冪等性,因為兩個外掛在重新連線時都提供至少一次傳遞,而容錯移轉本來就會刻意重新處理災難復原窗口內的訊息。

shovel 的 ack 模式對災難復原真的有影響嗎?

它正是決定 shovel 會不會遺失訊息的設定。使用 on-confirm 時,來源訊息要等目的地確認後才會被 ack,因此故障最多只會造成重複。使用 on-publish 時,來源 ack 發生在目的地確認之前,若目的地剛好在那一刻故障,訊息就會遺失。使用 no-ack 時,任何故障都會讓 shovel prefetch 緩衝區中的所有訊息遺失。災難復原流量一律應使用 on-confirm;如果擔心傳輸量,請提高來源的 prefetch count,而不是削弱確認模式。

RabbitMQ 能把佇列同步複寫到另一個區域嗎?

開源版的 federation 或 shovel 外掛做不到,它們都是在主要端確認路徑之後執行的非同步消費者。RabbitMQ 的同步複寫是仲裁佇列在單一叢集內的特性:仲裁佇列會先提交到多數成員,才回覆確認。為了取得這種行為而把單一叢集延伸到多個區域,不但不受支援,在 WAN 延遲下效能也很差。商業版的 Tanzu RabbitMQ 發行版提供 warm standby 複寫功能,可在叢集之間複寫;除此之外的情況,請把跨區域災難復原視為非同步,並讓應用程式能承受由此產生的窗口。

Scott Sternloff

作者

Scott Sternloff資深企業架構師

AceMQ 資深企業架構師。負責本站的技術類文章:RabbitMQ、Kafka 與 Redis 的架構、叢集與遷移。

Talk to an engineer

Need a hand with RabbitMQ?

Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.

免費諮詢

請專家檢視您的 RabbitMQ 叢集

無論您是在排除正式環境事故、規劃遷移,還是想針對架構聽聽第二意見,我們的團隊都已準備就緒。不推銷,只給答案。

寄信給我們