概覽
該公司的物聯網平台仰賴 RabbitMQ 處理大規模連網裝置機群的訊息傳遞,且計畫大幅擴充規模。然而每週發生的記憶體不足當機與效能瓶頸,正威脅著平台的穩定性與成長計畫。
挑戰
RabbitMQ 節點每週都因記憶體不足(OOM)錯誤而當機,原因包括不當的垂直擴充做法、過低的 prefetch count(設為 1),以及佇列缺少 TTL 設定。消費端速度過慢導致生產端遭到阻擋,進而引發連鎖故障。團隊使用的是未啟用鏡像的傳統佇列,一旦節點故障就可能遺失資料。
環境
Kubernetes 部署、RabbitMQ 處理大量裝置連線、Spring Boot 消費端,並計畫搭配 Prometheus/Grafana 監控進行水平擴充。
做法
AceMQ 進行了為期數天的密集修復工作,包括實際環境審查、即時調整設定,以及親自動手的效能最佳化。團隊分析各項指標、審查拓樸,並針對擴充提出詳細的架構建議。
解決方案
- 建議採用水平擴充策略(增加節點),取代垂直擴充
- 將 prefetch count 從 1 提高到 20,大幅提升消費端吞吐量
- 設定 lazy queues,讓訊息直接寫入磁碟,以減少生產端遭阻擋的情形
- 實施每個佇列的記憶體上限與 TTL 政策,防止 OOM 當機
- 將 high water mark 從 0.7 提高到 0.9,提升記憶體使用效率
- 規劃從傳統佇列遷移至仲裁佇列(quorum queues)的路徑,以實現高可用性
- 提供以 Excel 製作的伺服器需求計算工具,用於容量規劃
成效
客戶取得了設定調整與擴充藍圖,目標是終止反覆發生的 RabbitMQ 當機並提升消費端吞吐量,並有清楚的路徑來因應持續成長的裝置數量。