部落格RabbitMQ

為未來規模設計 RabbitMQ 架構:一套規劃框架

Scott Sternloff

作者:Scott Sternloff(資深企業架構師)

LinkedIn · 更新日期: · 閱讀時間 16 分鐘

為未來規模設計 RabbitMQ 架構:一套規劃框架
On this page

依今天負載規劃的 RabbitMQ 架構,很少能撐過 5 到 10 倍的成長——叢集拓樸、仲裁佇列複寫與多區域訊息傳遞,在規模擴大時的崩壞方式,都和被動處理事故時看到的不同。透過現況評估、目標狀態設計與分階段導入計畫來為未來負載預作規劃,就能避免兩年後以緊急事件形式冒出來的重新架構專案。

大多數團隊從來沒有做過這件事。他們一次處理一起事故,修補既有的叢集,直到成長速度超過拓樸的承載能力,才有人得在壓力下重新設計。以下說明一套刻意規劃的未來狀態設計流程應該是什麼樣子。

「未來狀態」的 RabbitMQ 架構究竟是什麼意思?

意思是針對您預期在目前規模 5 到 10 倍時的負載、節點數與整合面,設計叢集拓樸、佇列類型與跨區域訊息傳遞——再從那裡倒推出遷移路徑;而不是依目前負載設計,然後期望架構能自己撐開。

這個區別之所以重要,是因為 RabbitMQ 的效能衰退並非線性。一個能輕鬆應付今天的 binding 數量、federation 連結數量與消費者扇出的叢集,可能遠在 10 倍之前就撞牆,因為 exchange binding、仲裁佇列複寫與 federation 重新同步時間,都會帶來隨規模複利累積、而非等比例成長的額外負擔。

如何進行未來狀態設計,而不是被動地修修補補?

依序分三個階段:現況評估、目標狀態設計、遷移計畫。跳過評估、直接進入目標狀態設計,是最常見的失敗模式——團隊設計出一套理想化的架構,卻忽略了正式環境中既有的用戶端程式庫、應用程式團隊與維運限制,結果設計在審查階段無限期卡住。

在近期一個未來狀態設計專案中,客戶是一家大型能源業者,其 RabbitMQ 支撐與 SCADA 連線的管線監控系統。我們同時建立了兩個架構方案,而不是只有一個:一個是不設任何限制的全新設計,另一個是受限設計,把理想方案與應用程式團隊在專案期間實際能做出的變更加以調和。把兩者之間每一處分歧背後的理由記錄下來——為什麼某次用戶端程式庫升級值得強制推動、哪些地方團隊接受了折衷——對爭取利害關係人支持的幫助,遠大於任何一個方案單獨能做到的。

另一項關鍵的改變:以短週期的迭代檢查點審查設計,而不是在最後才交付一套完成的架構。一個為期四週、到第四週才收集回饋的設計階段,如果方向錯了,前三週就白費了。

擴展之前,哪些 RabbitMQ 基本元件必須先做對?

未來狀態設計不只是叢集與節點的問題——您現在選擇的 exchange 類型、routing key、虛擬主機與死信佇列,決定了下一次 5 到 10 倍成長要付出多少重工成本。搭配穩定 routing key 的 direct exchange 擴展起來可預測;使用萬用字元 routing key 的 topic exchange 今天給您彈性,卻正是日後造成 binding 膨脹的元兇,因此在它開始支撐數十個整合之前,值得再審視一次。fanout exchange 之所以在大規模下簡單又耐用,正是因為它完全略過 routing key 的比對——在其實不需要選擇性路由的廣播模式中,值得把它當成預設選項。

虛擬主機(vhost)是您能買到最便宜的隔離手段:在同一套分散式系統部署中,以 vhost 區隔環境、租戶或事業單位,就能避免日後純粹為了存取控制而拆成多個叢集。而當流量上升,死信佇列就不再是可有可無——未來狀態設計應該事先為每個佇列定義毒訊息(poison message)處理方式與傳遞次數上限,而不是等第一次重新排入佇列風暴拖垮一個原本健康的訊息代理之後才補上。這些都不是什麼冷門技術,只是把高可用性與事件驅動架構的基本功刻意落實,而不是碰運氣。

在 5 到 10 倍規模下,哪些叢集拓樸決策最重要?

當流量成長,有三項決策的影響力特別大:節點數量與配置、exchange 與 binding 的設計,以及要依賴單一叢集還是拆分工作負載。節點數量不只是傳輸量的調節桿——仲裁佇列複寫與 Raft 共識的負擔都會隨叢集規模增加,因此表現良好的 3 節點拓樸,到了 9 個節點並不會單純變快,而是行為改變。

binding 設計是團隊最常低估的一項。一個在幾千個 binding 下運作順暢的 topic exchange 模式,一旦 binding 數量攀升到數萬,就可能變成真正的負擔——不是因為 RabbitMQ 存不下,而是節點遺失或 federation 重新同步後,重建路由狀態的速度會隨 binding 數量明顯變慢。我們曾看過一條平常約 15 分鐘就能重新同步的 federation 連結,在事故期間花了超過一小時才重建完成,原因純粹是 binding 數量;而在與 SCADA 連線的系統上,消費者只要 10 分鐘沒有收到新資料,就會觸發強制關閉管線。這正是未來狀態設計必須事先納入考量、而不是事後才面對的故障模式。

仲裁佇列的規模應該如何依未來成長規劃?

依照您設計目標的節點數,而不是目前執行中的節點數,來決定複寫因子。複寫因子 3 是預設值,適用於大多數工作負載;關鍵佇列有時值得設為 5,但每多一個副本,就會為整個群組增加 Raft 共識的負擔,因此「以防萬一」而設得過大,會付出實際的傳輸量代價。

在未來狀態規模下,真正重要的規模問題不是單看複寫因子——而是複寫因子加上每個佇列預估的消費者數量與訊息速率。在今天的消費者扇出下表現正常的佇列設計,一旦競爭同一個仲裁佇列的消費者數量變成 5 倍,就可能遇到共識延遲問題。請在拓樸定案之前,而不是遷移之後,以目標流量進行負載測試。

設計輸入依目前規模規劃依未來狀態規劃
複寫因子對應目前節點數對應 5 到 10 倍規模時的目標節點數
每個 exchange 的 binding 數量目前的路由模式預估的整合數量,並經過負載測試
federation 重新同步時間直到事故逼迫才知道以預估的 binding 數量進行基準測試

多區域訊息傳遞何時用 federation,何時用 shovel?

federation 是持續性多區域分送的預設選擇:它會讓各區域的 exchange 或佇列保持鬆散同步,在連結中斷後自動重新連線,也不要求來源與目的地的拓樸完全一致。Shovel 則是更簡單的點對點機制——它把訊息從指定的來源搬到指定的目的地,更適合一次性遷移、轉送模式,或在不打算長期執行 federation 的環境之間搭橋。

我們在多區域設計中最常看到的錯誤,是把 federation 當成擴展機制,而不是分送機制。federation 不會降低某個區域的負載——它會把負載複製過去。如果 binding 膨脹或消費者扇出才是真正的瓶頸,在更多區域之間增加 federation 連結只會讓問題加倍,而不是解決問題。通常到了這個時候,在區域內部用於高流量事件日誌的 stream,才是在區域邊界搭配 federation 的更好補充,而不是取代它。

FederationShovel
最適合持續性多區域分送一次性遷移或簡單轉送
重新連線自動可設定,預設的自動化程度較低
拓樸適配來源與目的地可以不同固定的來源到目的地路徑

RabbitMQ 撐得過整個區域故障嗎?

先說誠實的答案:以單一叢集的形式撐不過。如同高可用性、災難復原與叢集規模規劃一文所述,標準的 RabbitMQ 叢集假設節點位於同一資料中心、延遲很低。若把叢集的 Raft 共識延伸到多個區域,每一次寫入都要付出真實的網路延遲,而誤判的網路分割也不再是罕見的邊緣狀況,而會變成每週都會發生的事。區域故障必須靠叢集完好存活以外的方式來處理,也就是從四種模式中擇一,並接受各自在一致性上的代價。

  • Federation。區域之間非同步、最終一致的複寫。每個區域都在各自的本地佇列上獨立運作;若與另一個區域的連結中斷,訊息會先排入佇列,待重新連線後再轉送。就區域故障而言,這種模式的做法是讓存活的區域繼續消費自己的本地流量,而不是直接接管故障區域的佇列。這是四種模式中維運負擔最低的一種,也就是上文介紹過、用於穩態多區域分送的機制;災難復原情境用的是同一套機制,只是由中斷事件觸發,而不是依設計持續運作。
  • Shovel。同樣是非同步的概念,但採點對點方式,也更容易推敲其行為。比起持續的雙向同步,它更適合明確定義的復原流程:在腳本化的容錯移轉中,把故障區域尚未處理的積壓訊息轉入存活的區域,而不是讓兩個區域維持永久的同步關係。
  • Tanzu RabbitMQ warm standby 複寫。這是商業選項,有時也稱為 warm schema replication:在次要站點維護一份近乎即時的非同步副本,涵蓋整個 schema、佇列、binding、exchange、使用者與權限,以及傳輸中的訊息。次要站點能以最少的復原工作升格為主要站點,而且升格可雙向進行。這是四種模式中 RPO 最嚴格的一種,延遲以秒而非分鐘計算,但它是需要授權的功能;請參閱RabbitMQ 授權,了解在主要站點加災難復原站點的配置下需要多少費用。
  • 從持久化儲存進行應用程式層級的重播。除了正常發布訊息之外,再把訊息內容(或足以重建該操作的部分)寫入完全獨立於 RabbitMQ 的持久化儲存,例如物件儲存或 outbox 資料表。區域故障時,再從該儲存重播到存活的區域。這是四種模式中復原最慢、建置與正確測試所需工程投入最多的一種,但它不需要任何 RabbitMQ 專屬的災難復原工具,而且不論佇列類型都適用,包括其他三種選項較難妥善涵蓋的傳統佇列(classic queue)與 stream。

如何選擇取決於 RPO 與 RTO,而不是個人偏好。如果業務確實無法容忍遺失超過幾秒鐘的傳輸中資料,四種模式中只有 warm standby 複寫是為此而設計的。如果幾分鐘的延遲可以接受,而且團隊已經在使用 federation 進行分送,把同樣的模式延伸到容錯移轉,額外成本很低。如果容錯移轉罕見到腳本化的點對點流程比永久複寫關係更容易維護,就適合用 shovel。如果沒有商業授權的預算,而團隊能自行負責客製化的重播邏輯,應用程式層級的重播也行得通,但前提是有人真的在需要它的區域故障之前,先測試過重播路徑。

無論選擇哪一種模式,區域容錯移轉 runbook 都必須在事故逼您現場作答之前,以書面回答五件事:宣告區域故障的觸發條件,以及誰有權宣告,避免短暫的異常就啟動一場其實不需要的容錯移轉;確切的升格步驟,無論是 warm standby 的切換命令、反轉 federation 連結的方向,還是啟動重播作業;用戶端連線如何重新導向——修改 DNS、修改連線字串,或兩者皆需——以及故障區域中現有的連線無法重新連上時應該如何處理;故障區域恢復後的對帳計畫,避免同一份工作被處理兩次,或在兩個都自認為主要站點的區域之間再次造成腦裂;以及一個驗證步驟——佇列深度、消費者延遲,最好再加上一筆合成交易——在任何人宣布事故解決之前,確認容錯移轉確實成功。我們與 Boomi 合作、以重播為基礎的災難復原專案,說明了對於專門採用應用程式層級重播模式的團隊而言,這份 runbook 在實務上是什麼樣子。

何時該拆成多個邏輯叢集,何時該擴充單一叢集?

當工作負載確實有不同的可用性需求、某個吵雜或 binding 數量龐大的租戶可能拖累與關鍵租戶共用的 federation 連結,或資料落地與法規界線直接要求隔離時,就應該拆分。在上述與 SCADA 連線的案例中,隔離的理由非常具體:一個 binding 繁重的整合工作負載與攸關生命安全的管線監控共用同一個叢集,意味著某個團隊的路由膨脹,可能拖慢另一個團隊賴以避免強制停機的 federation 重新同步。

如果沒有這種不對稱,就維持單一叢集。每多一個邏輯叢集,就多一套要監控的拓樸、多一組要維護的 federation 連結,也多一個讓各環境之間產生設定漂移的地方。在沒有真正的隔離理由前就過早拆分的團隊,最後增加的維運負擔通常比拆分省下的還多。

遷移與導入計畫是什麼樣子?

導入計畫會安排變更的順序,讓正式環境流量永遠不必取決於單一次切換。這通常意味著:在舊拓樸旁建立新拓樸,依佇列或消費者群組逐步轉移流量,並保留可用的回復路徑,直到新設計完整經歷一次尖峰週期。仲裁佇列轉換、binding 重新設計與 federation 連結變更,各自安排獨立的階段,而不是同時上線。

最常被忽略的排序決策,是依風險而非方便性來排序。團隊往往先遷移最容易的工作負載,因為這樣看得出進度——但未來狀態設計應該找出哪一個工作負載真正能驗證新拓樸中風險最高的假設,並及早遷移它,以便在假設錯誤時仍有餘裕調整方向。

如需叢集與仲裁佇列決策背後的詳細規模計算,請參閱我們的高可用性、災難復原與叢集規模規劃指南。如果傳統佇列仍是現況評估的一部分,我們的傳統佇列遷移至仲裁佇列指南說明了這項轉換;訊息持久性一文則說明新拓樸上線後,複寫能保證與無法保證的事項。

為您要去的地方設計,而不是為您現在的位置

大多數 RabbitMQ 架構在今天並沒有錯——錯的是十八個月後的它們,而沒有人安排一場討論來及早發現這件事。未來狀態設計就是那場討論,刻意地進行,而不是在服務中斷時才發生。

如果您的團隊正在規劃業務成長、併購或多區域擴展,並希望在定案之前先取得書面的目標架構與導入計畫,我們的RabbitMQ 架構團隊會以結構化專案的方式執行——現況評估、附書面理由的目標狀態設計,以及依風險排序的分階段遷移計畫。與 RabbitMQ 架構師聊聊,為您的環境規劃專案範圍。

常見問題

什麼是 RabbitMQ 未來狀態架構設計?

這是一套結構化的規劃流程——現況評估、目標狀態設計、遷移計畫——依照業務的發展方向,而不只是今天的狀況,來規劃 RabbitMQ 的規模。它以一份書面記錄的拓樸、佇列與多區域計畫,取代零星的臨時修補,讓團隊能在幾個季度內按部就班執行,而不是在事故當下才倉促應對。

怎麼知道我的 RabbitMQ 架構能不能撐過 5 到 10 倍的成長?

針對規模擴大時會呈非線性惡化的三件事建立模型:每個 exchange 的 binding 數量、節點遺失後 federation 連結的重建時間,以及佇列複寫的額外負擔。如果 binding 數量現在就已經達到數萬,或 federation 目前就需要好幾分鐘才能重新同步,那麼流量變大後,這條曲線只會更糟,不會變好。

多區域架構中,RabbitMQ 的 federation 和 shovel 有什麼差別?

federation 會讓各區域的 exchange 或佇列保持鬆散同步,並能自動重新連線,是持續性多區域複寫的預設選擇。Shovel 則是在固定的來源與目的地之間點對點搬移訊息,比起穩態的多區域拓樸,更適合一次性遷移或簡單的轉送模式。

仲裁佇列的規模應該如何依未來成長規劃,而不只看目前負載?

依照目標節點數而非目前的節點數來決定複寫因子(通常為 3,關鍵佇列有時為 5),並在確定拓樸之前,以預估的流量對 binding 與消費者數量進行負載測試。仲裁佇列的複寫負擔會隨叢集規模增加,因此在 3 個節點上運作良好的設計,到了 9 個節點時行為可能不同。

什麼時候應該把 RabbitMQ 拆成多個邏輯叢集,而不是擴充單一叢集?

當工作負載的可用性需求有實質差異、某個吵雜的租戶可能拖累另一個租戶的 federation 連結,或法規、資料落地限制要求隔離時,就應該拆分。如果同時維運多個叢集的負擔超過隔離帶來的好處,就維持單一叢集——大多數團隊都低估了這項負擔。

RabbitMQ 未來狀態設計專案通常需要多久?

聚焦的設計階段——從現況評估到產出書面的目標架構與導入計畫——通常需要三到六週,取決於有多少下游團隊與應用程式需要提出限制條件。實作與遷移則是另一個獨立、更長的階段。

改用以 stream 為基礎的多區域設計,需要把 federation 整個拆掉嗎?

不需要。stream 與 federation 解決的是不同的問題,可以並存——stream 用於區域內高流量、可重播的事件日誌,federation 則負責跨區域分送。大多數未來狀態設計會在區域邊界保留 federation,並在 binding 膨脹確實成為瓶頸的地方,於區域內部導入 stream。

RabbitMQ 未來狀態設計會產出哪些交付成果?

一份記錄目前拓樸及其臨界點的現況評估、一份針對每項重大決策附上書面理由的目標狀態架構,以及一份分階段的遷移計畫,安排變更順序,讓正式環境流量永遠不必卡在一次性的大規模切換上。

RabbitMQ 撐得過整個區域故障嗎?

以單一延伸叢集的形式撐不過;標準的 RabbitMQ 叢集假設節點位於同一資料中心、延遲很低,無法妥善承受跨區域連結的延遲。要撐過區域故障,必須在兩個獨立的區域叢集之間採用 federation、shovel、Tanzu RabbitMQ warm standby 複寫,或從持久化儲存進行應用程式層級的重播,並依業務能容忍的資料遺失量與復原時間來選擇。warm standby 複寫能提供最嚴格的復原點,但屬於需要授權的商業功能;其他三種則是保證較寬鬆的開源模式。

RabbitMQ federation 適合用於災難復原嗎?

適合,前提是團隊能接受以分鐘而非秒計算、最終一致的復原點。federation 會在區域之間非同步複寫,並在連結中斷後自動重新連線,因此中斷期間,存活的區域仍可繼續處理自己的流量。它不是可取得的最嚴格 RPO——那是 Tanzu RabbitMQ warm standby 複寫——但如果團隊已經使用 federation 進行穩態的多區域分送,延伸它的額外成本很低。

Scott Sternloff

作者

Scott Sternloff資深企業架構師

AceMQ 資深企業架構師。負責本站的技術類文章:RabbitMQ、Kafka 與 Redis 的架構、叢集與遷移。

Talk to an engineer

Need a hand with RabbitMQ?

Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.

免費諮詢

請專家檢視您的 RabbitMQ 叢集

無論您是在排除正式環境事故、規劃遷移,還是想針對架構聽聽第二意見,我們的團隊都已準備就緒。不推銷,只給答案。

寄信給我們