部落格RabbitMQ

RabbitMQ 遷移就緒評估:切換前檢查清單

Scott Sternloff

作者:Scott Sternloff(資深企業架構師)

LinkedIn · 更新日期: · 閱讀時間 12 分鐘

RabbitMQ 遷移就緒評估:切換前檢查清單
On this page

RabbitMQ 遷移就緒評估,是在重大升級、平台移轉或架構變更之前設下的一道一次性關卡——而不是持續進行的健康檢查。它確認您的拓樸與相依性已完整盤點、您清楚知道某個步驟失敗時哪些環節會故障、您擁有經過測試的回復方案,而且目標環境能承受真實的正式環境負載。

大多數在 RabbitMQ 遷移中吃過虧的團隊,事前執行的並不是一個有問題的叢集。他們有穩定的環境、合理的計畫和上線日期——卻在切換途中才發現,某個佇列的拓樸只存在於某位工程師的腦袋裡,或某個下游消費端仍在使用落後三個主要版本的用戶端程式庫,又或者他們的回復計畫只是「從備份還原」,卻完全不知道在負載下實際要花多久。

結構化的遷移前就緒評估,就是為了在維護時段開始之前、而不是進行之中,抓出這些問題。

什麼是 RabbitMQ 遷移就緒評估?

它是一項範圍固定的檢視,綁定某一個特定的計畫變更:版本升級、移轉到新的基礎架構(Kubernetes、新的資料中心、新的雲端區域),或是新增 federation 複寫以支援災難復原之類的架構變更。它不是訂閱服務,也不是監控工具。

產出是一份遷移路線圖與就緒報告,並附上明確的建議:可以進行、先完成特定修正後再進行,或是時機未到——涵蓋遷移所涉及的每一項工作負載,而不只是 broker 本身。這與一般健康檢查的交付成果不同,在界定範圍之前,值得先把兩者的差異弄清楚。

遷移就緒評估與一般的 RabbitMQ 健康檢查有什麼不同?

兩者在方法上有重疊——都會檢查叢集設定、佇列拓樸與版本狀態——但回答的是不同的問題。RabbitMQ 健康檢查問的是:「這個部署現在健康嗎?整體而言我們該修正什麼?」它會定期執行,與任何計畫中的變更無關,而它的發現——傳統鏡像佇列、權限過大的使用者、心跳設定錯誤——無論您是否要遷移,都同樣適用。

遷移就緒評估問的則是一個範圍更窄、風險更高的問題:「我們能否在這個日期執行這一次特定的切換,而不造成停機或資料遺失?如果不能,需要先改變什麼?」這樣的框架改變了交付成果。就緒評估會產出一份針對確切遷移步驟的回復計畫、一份列出哪些環節會在什麼條件下故障的風險登錄表,以及針對目標設定執行的負載測試——而不只是目前健康狀態的快照。如果您沒有計畫特定的切換,您需要的是健康檢查。如果行事曆上已排定升級或平台移轉,您需要的是這項評估。

遷移前的盤點實際上應該涵蓋什麼?

盤點是團隊最常低估範圍的部分,因為其中大部分內容都存在於 broker 自身設定之外。在您能有把握地規劃遷移之前,必須先掌握四件事:

  • 佇列、交換器與繫結的拓樸——以及它是否在自動化中定義。我們最近協助一家支付處理公司,他們的叢集安裝完全自動化,但佇列、交換器與 federation link 卻是手動建立的,在程式碼中完全找不到。這是很常見的缺口,代表若沒有人從執行中的系統手動重新推導出拓樸,就無法在新叢集上可靠地重建它。
  • 外掛相依性。Federation、shovel,以及任何自訂或廠商外掛,都必須逐一確認與目標 RabbitMQ 版本的相容性——與您目前版本相容的外掛,不代表自動相容於您要遷移過去的版本。
  • 每一個消費端應用程式的用戶端程式庫與執行環境版本。不是 broker 的版本——是用戶端的版本。執行舊版用戶端程式庫或過時執行環境的應用程式,往往帶著調校不足的連線、執行緒或記憶體設定,而這些設定要等到遷移期間流量模式或 broker 行為改變時,才會浮現為問題。
  • 佇列類型與版本相容性。在較新的 RabbitMQ 主要版本中,傳統鏡像佇列已屬淘汰範圍,而 Erlang/OTP 的版本支援又與您的 RabbitMQ 版本綁在一起——例如 3.13.x 的社群版就不支援 Erlang 27 執行環境,因此任何想在不全面升級的情況下維持最新狀態的團隊,都不得不面對授權的問題。

這些都不是什麼罕見的狀況。只是它們繁瑣到讓趕著截止期限的團隊乾脆跳過,然後在遷移進行中當場重新發現。

如何在 RabbitMQ 遷移前評估風險——實際上會出什麼問題?

遷移的風險評估,是要逐一推演具體的故障情況,而不是產出一份依嚴重程度排序的通用清單。真正有用的作法要回答的是:遷移的每一個步驟若失敗,會讓什麼故障?這個故障在下游會呈現什麼樣貌?

舉一個具體的例子,來自我們為一家支付處理客戶界定範圍的災難復原複寫專案:他們提出的作法是使用 federated exchange 將訊息複寫到次要站點。Federated exchange 複寫的是訊息,而不是 broker 狀態——因此如果災難復原端停擺,待複寫的訊息會在本地端積壓,而不是遺失;但一次真正的災難復原演練,可能意味著連線恢復後要消化數十萬則訊息的積壓。這些復原流量會直接落在正式環境叢集上,必須事先納入考量,否則它本身就會變成一起事故。

這才是真正的風險評估該有的樣貌:訊息順序保證、消費端的冪等性假設、停機後重新連線是否會觸發大到足以影響正式環境傳輸量的積壓,以及用戶端應用程式是否真的能正確處理重新投遞,而不是假設自己享有從未被保證過的 exactly-once 行為。這些每一項都取決於您的架構與應用程式——範本式的檢查清單不會揭露它們,但一步一步推演整個遷移就會。

回復計畫需要包含哪些內容?

對於線上運作的訊息系統來說,「從備份還原」不是回復計畫——它沒有說明復原需要多久、空窗期間會遺失哪些訊息,也沒有說明下游消費端在這段期間會如何反應。真正的回復計畫,會為每一個遷移步驟定義代表必須中止的具體觸發條件,以及該步驟的具體回復動作。

實務上,行得通的模式是讓目前環境與目標環境平行運作,而不是原地遷移。在舊叢集旁建立新叢集,分批將消費端應用程式移過去,並讓舊叢集持續上線、接收流量,直到已遷移的批次證明穩定為止——通常要經歷一整個尖峰流量週期。如果某一批出現問題,您就把那個消費者群組導回舊叢集,而不必動到任何已經成功遷移的部分。這只有在一開始就把回復路徑設計進去時才行得通;一旦進入切換途中,就很難再補上。

如果您無法用一句話說明某個步驟的回復動作,那個步驟就還沒準備好執行。

RabbitMQ 遷移切換日前的五道就緒關卡:盤點、用戶端相容性、佇列類型、經過演練的回復,以及基準監控

如果這次升級同時也是您改用受支援建置版本的時機,RabbitMQ 商業授權說明了商業訂閱包含哪些內容,以及如何計價。

切換前如何驗證負載與容量?

遷移前的負載測試,必須以您實際的流量為基礎,而不是合成的基準測試。在設計測試之前,先從您既有的工具——Prometheus、Grafana、Dynatrace,或 broker 本身的管理 API——取得歷史佇列深度與訊息速率資料,建立一份真實的尖峰傳輸量、突發模式與訊息大小分布輪廓。

有兩件事值得測試,卻經常被團隊略過。第一,以您真實的尖峰負載測試,而不是平均負載——我們協助過的一個支付平台,正在評估一種需要持續承受每秒約 2,000 則訊息的複寫作法,而要誠實回答 federation 能否在網路限制下撐住這個量,需要的是實際的負載測試,而不是估算。第二,測試從積壓中復原的情況,而不只是穩定狀態的傳輸量。一個能輕鬆處理正常流量的叢集,在必須同時處理復原積壓與即時流量時,仍可能力不從心——而這正是切換失敗或災難復原回切時您會面臨的情境。

如果您的目標架構改變了佇列類型、新增了一段複寫跳點,或移到不同的底層基礎架構,舊系統上原有的容量餘裕並不會自動延續過去。請在上線日期之前驗證它,而不是在上線當下。

最常被遺漏的外掛與用戶端程式庫相依性有哪些?

除了基本盤點之外,有幾個相依性問題在團隊進入遷移途中後出現的頻率特別高:

  • Federation 與 shovel 外掛的版本漂移。這些外掛與核心 broker 分開發布,必須針對目標版本重新驗證——不要假設相容性會自動延續。
  • 與授權綁在一起的 Erlang/OTP 相容性。目前穩定版本系列的社群版 RabbitMQ,會隨著時間停止為較舊的 Erlang 執行環境提供修補,而依您所用的 RabbitMQ 版本系列而定,改用較新的 Erlang 主要版本有時需要商業授權。這個問題在遷移規劃期間出現的頻率遠超過團隊的預期,可能把一次單純的技術升級,變成一場附帶截止期限的採購討論。
  • 為舊環境調校的用戶端連線與逾時預設值。為地端、低延遲網路調校的心跳與 TCP 逾時設定,在遷移把流量移到跨可用區域或經過 NAT 閘道後,會造成誤判的斷線——這種變更值得在切換前就抓出來,而不是事後當成一起離奇事故來除錯。
  • 仍在執行舊版用戶端程式庫或執行環境的應用程式。這些應用程式往往帶著保守的預設值——例如 JVM 記憶體設定遠低於容器實際可用的資源——默默限制了傳輸量,而且要等到您在遷移測試中試圖達成特定效能目標時才會顯現。

就緒評估需要多久?最後會得到什麼?

時程取決於範圍。只有少數消費端應用程式的單一叢集版本升級,通常是一週的專案。具備 federation、自訂外掛與數十個消費端應用程式的多區域部署,則需要更長時間才能妥善完成盤點、風險評估與負載測試——通常是兩到三週。

無論哪一種,您都應該帶走:

  • 完整的拓樸、外掛與用戶端程式庫盤點——作為擬定遷移計畫的唯一可信來源
  • 一份描述具體故障情況及其下游影響的風險登錄表,而不是通用的嚴重程度清單
  • 一份回復計畫,為每一個遷移步驟定義觸發條件與回復動作
  • 針對目標設定的負載測試結果,包括積壓復原情境
  • Go/No-Go 建議,並將任何阻礙問題排定在切換日期之前優先處理
  • 遷移後的驗證標準,以及在目標叢集承載真實流量後的一輪簡短最佳化

請將這項專案的成本,與略過它的總持有成本相比較——在正式環境負載下發生計畫外的回復,幾乎總是比評估本身更昂貴。如果您正在規劃版本升級、平台移轉或架構變更,並希望在確定切換日期之前先通過一道結構化的就緒關卡,我們的 RabbitMQ 團隊會在執行遷移的同時進行這些評估。與我們聯絡,依您的時程界定評估範圍。

這份檢查清單是RabbitMQ 遷移指南七個步驟中的第二步,該指南依序說明決策、盤點、語意對應、目標建置、切換與驗證。

常見問題

什麼是 RabbitMQ 遷移就緒評估?

在主要版本升級、平台移轉或架構變更之前進行的一次性檢視。它會盤點您目前的拓樸與相依性、找出遷移出錯時哪些環節會故障、產出經過測試的回復計畫,並驗證目標環境能承受真實的正式環境負載——最後提出 Go/No-Go 建議。

遷移就緒評估與一般的 RabbitMQ 健康檢查有什麼不同?

健康檢查是對維運健康狀態的定期快照——叢集規模、安全基準、設定漂移——與任何計畫中的變更無關。遷移就緒評估則專門針對某一次特定的切換,有明確的截止期限,並產出健康檢查不會提供的成果:回復計畫、切換風險登錄表,以及針對目標狀態(而不只是目前狀態)進行的負載測試。

現況盤點需要涵蓋哪些內容?

每一個佇列、交換器與繫結,以及這套拓樸是在自動化中定義,還是只以手動、未文件化的設定存在;每一個使用中的外掛,包括 federation、shovel,以及任何自訂或自行開發的外掛;還有每一個發布或消費訊息的應用程式所使用的用戶端程式庫與執行環境版本,而不只是 broker 的版本。

回復計畫實際上應該包含什麼?

明確的觸發條件——代表必須中止的具體指標或故障情況——以及每一個步驟的可逆性說明,而不是一句籠統的「從備份還原」。實務上,這通常代表讓新舊環境平行運作,並分批遷移消費者群組,讓任何一批都能被導回原環境,而不必動到已經成功遷移的批次。

如果不更換硬體,還需要做負載測試嗎?

需要。版本升級或拓樸變更(例如從傳統鏡像佇列改用仲裁佇列(quorum queues),或為災難復原新增一條複寫路徑),即使硬體完全相同,也會改變 broker 在負載下的行為。請以您實際的尖峰傳輸量以及積壓復原情境進行測試,而不只是穩定狀態的流量。

RabbitMQ 遷移就緒評估需要多久?

通常是一到三週,視叢集數量與拓樸複雜度而定。只有少數消費端應用程式的單一叢集升級,大約一週就能完成範圍界定;而具備 federation、自訂外掛與數十個消費端應用程式的多區域部署,則需要更長時間才能妥善完成盤點與負載測試。

通常是什麼情況需要進行這項評估?

主要版本升級(特別是會改變佇列類型預設值或 Erlang 相容性的升級)、平台移轉(例如移到 Kubernetes 上或新的資料中心)、新增災難復原複寫之類的架構變更,或是因授權變更而被迫在期限內跳升版本。

Scott Sternloff

作者

Scott Sternloff資深企業架構師

AceMQ 資深企業架構師。負責本站的技術類文章:RabbitMQ、Kafka 與 Redis 的架構、叢集與遷移。

Talk to an engineer

Need a hand with RabbitMQ?

Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.

免費諮詢

請專家檢視您的 RabbitMQ 叢集

無論您是在排除正式環境事故、規劃遷移,還是想針對架構聽聽第二意見,我們的團隊都已準備就緒。不推銷,只給答案。

寄信給我們