概覽
該公司提供全球使用的關鍵任務機場登機門管理系統。其部署在 Kubernetes 上的 RabbitMQ 出現發布失敗、叢集容錯移轉異常,以及仲裁佇列同步問題,威脅到系統的可用性。
挑戰
RabbitMQ 與 PostgreSQL 共用 Kubernetes 節點,造成資源爭用。仲裁佇列在 3,000 IOPS 的儲存設備上同步失敗,叢集網路分割則導致殭屍綁定(zombie bindings)與訊息發布失敗。團隊還需要升級到 RabbitMQ 4.2,同時在 Azure 與 VMware 環境中維持穩定。
環境
橫跨 Azure 與 VMware 的 Kubernetes 叢集、與 PostgreSQL 共置的 RabbitMQ、Prometheus/Grafana 監控、C 與 Node.js 用戶端應用程式。
做法
AceMQ 進行了為期數週的密集評估,每天安排工作會議,以 FIO 執行磁碟效能測試、分析 RAFT 共識日誌,並設計基礎架構隔離策略。團隊也提供完整文件,涵蓋容錯移轉程序、監控、備份與還原,以及 federation。
解決方案
- 將 RabbitMQ 與 PostgreSQL 分離至專用節點,並配置獨立的 SSD 儲存
- 建議採用 Premium SSD v2 磁碟,達到仲裁佇列所需的次毫秒級延遲
- 開發自動偵測與復原腳本,處理卡住的仲裁佇列與殭屍綁定
- 設定 Prometheus 指標與 Grafana 告警,主動監控叢集健康狀態
- 提供完整的維運手冊(runbook),涵蓋容錯移轉、備份與還原,以及 federation 作業
- 指導從 RabbitMQ 3.x 升級到 4.2 的路徑,並驗證穩定性
成效
透過妥善的資源隔離、自動化復原程序與完整的監控,客戶在 Kubernetes 上實現了穩定的 RabbitMQ 運作,確保全球機場系統的訊息傳遞可靠無虞。