本頁內容
什麼是 RabbitMQ 健檢或評估?
健檢會檢視哪些項目?
- 叢集拓樸與節點健康狀態。節點數量、在主機或可用區域之間的分佈、各節點的磁碟與記憶體使用量,以及仲裁佇列(quorum queues)的 leader 分佈是否平衡。
- 佇列設定與類型。需要高可用性的工作負載使用的是仲裁佇列還是傳統佇列、是否仍存在鏡像傳統佇列、佇列深度的變化模式,以及 consumer lag。
- 安全性設定。預設帳號密碼是否已移除或變更、是否啟用 TLS、虛擬主機隔離、使用者權限範圍是否適當,以及稽核日誌。
- 效能與負載平衡。連線在各節點之間如何分佈、發布者流量控制是否在正常負載下就被觸發,以及 prefetch 設定與實際消費者處理量是否相符。
- 資源規模配置。節點的記憶體與磁碟配置是否符合目前的佇列深度與訊息速率,以及規模配置是否為突發流量保留了餘裕。
- Erlang 與 RabbitMQ 版本。目前版本是否仍在社群支援範圍內、升級路徑為何,以及是否有已知的 CVE 適用。
- 維運設定。heartbeat 設定、TCP 逾時設定、持久化政策、dead-letter queue 設定,以及訊息 TTL 設定。
評估幾乎每次都會發現的五件事
/var/lib/rabbitmq)納入即時掃描範圍,是效能莫名下滑最常見的原因之一。解法很簡單——把這些目錄排除在外——卻經常被忽略。guest 使用者或權限過廣的管理員帳號,在評估中出現的頻率比團隊預期的高。虛擬主機隔離也經常沒有落實。延伸閱讀:設計未來狀態的 RabbitMQ 架構;如果您的系統橫跨多家廠商,也可參考整併基礎架構技術支援。
評估結束時您會收到什麼?
- 每個發現項目的清楚說明,以及它為何重要
- 具體的修正步驟——不是模糊的建議,而是實際需要的設定變更或行動
- 依風險與工作量排定處理發現項目的優先順序
- 升級路徑建議(如適用於您目前的版本)
- 適合與管理階層分享的叢集健康狀態摘要
如果我的部署看起來很穩定,評估還有用嗎?
評估最常發現的問題
在 26 個國家、超過 130 個企業專案中,同樣的發現一再出現。其中大多數一旦被點出來,修正成本都很低;而在出事之前,大多數也都看不見。以下是我們最常寫進報告的項目。
- 升級 4.x 之前仍在使用傳統鏡像佇列。傳統佇列鏡像已在 RabbitMQ 4.0 中移除,因此仍仰賴 ha-mode 政策的叢集,在這些佇列遷移完成之前沒有升級路徑。鏡像佇列也是所有可用類型中故障行為最差的一種。解法是逐一將佇列遷移到仲裁佇列,少數需要重播的工作負載則改用 streams。我們比較傳統佇列與仲裁佇列的文章,說明了各自適用的場合。
- 不能遺失訊息的流程沒有啟用 publisher confirms。沒有 confirms,發布者會把 TCP 寫入成功當成已送達,訊息在節點故障或記憶體告警期間就會無聲無息地消失。我們最常在訂單、付款與帳務流程中看到這種情況——而這些正是最承受不起的流程。解法是在這些 channel 上啟用 confirm 模式,並在收到 nack 時重試,通常只需要小幅修改程式碼。
- 沒有長度上限或 TTL 的無界佇列。沒有設定 max-length 也沒有 TTL 的佇列會持續成長,直到觸發記憶體或磁碟告警;到那時,被阻擋的是叢集上所有的發布者,而不只是寫入那個佇列的發布者。解法是透過政策設定 max-length 或訊息 TTL,並搭配應用程式負責人同意的溢出行為。
- prefetch 維持預設值或不設上限。不設上限的 prefetch 會讓單一消費者把整個佇列拉進自己的記憶體,其他消費者卻閒置;一旦該消費者當掉,就會造成大量重新投遞。解法是依消費者的處理時間設定 prefetch 值,通常介於 10 到幾百之間。
- 單一熱點佇列承載大部分流量。一個佇列在一個節點上以單一 Erlang 程序執行,因此承載叢集大部分傳輸量的單一佇列,會把整個叢集的上限壓在一顆核心上。解法是透過 consistent-hash 或 direct 路由分散到多個佇列,或在消費者能接受以 offset 為基礎的模型時改用 stream。
- 升級後從未啟用 feature flag。feature flag 控制磁碟上與節點間的資料格式。跨越多個次要版本升級的叢集,常有 flag 仍處於停用狀態,這會直接擋住下一次主要版本升級。解法是在所有節點都升到同一版本後,啟用所有穩定的 flag,並在規劃從 3.x 升級到 4.x 之前確認這一點。
- Erlang 版本落後於支援矩陣。每個 RabbitMQ 版本只支援範圍很窄的 Erlang/OTP 版本,而不受支援的組合,是任何技術支援案件第一個會被要求修正的地方。解法是讓 Erlang 與目標 RabbitMQ 版本相互對齊,通常與 broker 升級安排在同一個維護時段。
- 沒有 dead-letter 消費者或告警。dead-letter exchange 通常都有設定,缺的是任何讀取它們的機制。訊息累積好幾個月,第一次有人去看,往往是在事故期間。解法是建立消費者,或至少針對 dead-letter queue 深度設定告警,詳見我們的 dead-letter queue 指南。
- 告警觸發了卻沒人在看。記憶體與磁碟告警觸發、發布者被阻擋,而團隊卻是從應用程式那一端得知。解法是將告警與節點停機事件導入團隊既有的呼叫系統,並設定能保留處置空間的門檻值。
- 從未匯出 definitions。exchange、佇列、binding、使用者與政策只存在於執行中的叢集內,因此災難發生後要重建,只能憑記憶重建。解法是排程將 definitions 匯出至版本控制系統,這也能讓各環境之間的設定漂移一目了然。
專案如何進行,以及您會得到什麼
健檢是有明確起訖的固定範圍專案,分為四個步驟進行。
- 啟動會議與權限設定。透過一場簡短的會議確認範圍、指定聯絡窗口,並設定管理介面與指標的唯讀存取權限。在整個專案期間,叢集上的任何設定都不會被變更。
- 一到兩週的資料蒐集與訪談。我們會擷取 definitions、政策、節點與佇列指標、日誌與版本資訊,並與負責平台及其上應用程式的人員訪談。訪談之所以重要,是因為指標只能顯示叢集正在做什麼,而不是它應該做什麼。
- 與團隊一起檢討發現項目。在報告定稿之前,我們會與客戶逐一說明發現項目,對照團隊所知確認每一項,並共同決定優先順序。
- 書面報告。內容包括標註嚴重程度、依優先順序排列的發現項目;團隊不需要我們也能執行的修正計畫;容量與版本現況;以及對下一次升級可行與否的判斷。修正計畫以排好順序、各附理由的工作項目撰寫,而不是一份最佳實務清單。
客戶端需要一位平台負責人、一位應用程式負責人,以及唯讀的管理存取權限。客戶需要投入的時間總共只有幾個小時:啟動會議、一到兩場訪談,以及發現項目檢討。
報告交付後有兩條路可走:團隊依自己的時程執行計畫,或由 AceMQ 透過 RabbitMQ 顧問服務專案或技術支援合約來執行,後者也會為叢集日後提供 15 分鐘 P1 回應。兩者都不是預設選項。對於如此核心的系統,請合作夥伴審查架構是常見的做法,而審查並不會讓您承擔任何後續義務。希望在開始之前先了解理想目標架構樣貌的團隊,可以閱讀我們的正式環境 RabbitMQ 架構指南。
若要預約由工程師主導的版本,或先從免費的自助式報告開始,請參閱 RabbitMQ 健檢服務。
常見問題
RabbitMQ 合作夥伴可以審查我們的架構嗎?
可以。架構審查是 RabbitMQ 健檢的核心,也是大多數客戶與 AceMQ 合作的起點。身為 Broadcom 獨家的策略性 RabbitMQ MSP 合作夥伴,我們只以唯讀權限審查從 3.8.x 到 4.x 的叢集,無論是地端或任何雲端環境。審查涵蓋拓樸、佇列類型、政策、用戶端行為、監控與升級準備度,最後產出一份歸團隊所有的書面報告。不需要簽訂技術支援合約,也不會讓您因此被綁約。
我們需要 RabbitMQ 架構顧問服務嗎?
不一定。如果叢集使用的是仍受支援的版本、佇列類型與工作負載相符、confirms 與 prefetch 都經過刻意設定,而且有人在留意告警,那您的狀況大概沒問題。如果其中任何一項無法確定,或即將升級到 4.x、卻沒有人說得準叢集是否已準備就緒,健檢能以低成本回答這個問題。大多數團隊發現光是評估就已滿足需求,只有部分團隊會進一步展開較大規模的顧問專案。
RabbitMQ 健檢需要多久?
一般環境從頭到尾約兩到三週。啟動會議與權限設定需要一到兩天,資料蒐集與訪談需要一到兩週,發現項目檢討與書面報告則在其後幾天內完成。叢集數量多或環境較多的大型系統需要更長時間,我們會在報價中說明。客戶自己需要投入的時間,整個專案加起來只有幾個小時。若正在發生服務中斷,會先以技術支援處理,提供 15 分鐘 P1 回應,待叢集穩定後再進行評估。
RabbitMQ 評估的費用是多少?
範圍依叢集數量與環境數量而定,我們會在範圍評估會議後 24 小時內提供報價。這通常是 AceMQ 所有服務中最便宜的一項,因為範圍固定、不會變更叢集上的任何設定,而且交付的是報告而非實作。如果您希望由我們執行修正,會另以顧問服務或技術支援的形式報價;許多團隊則選擇自行執行計畫。