概覽
這家公司開發全球領先的整合式實體安全平台之一。他們在 Windows 上的 RabbitMQ 叢集出現 leader election 延遲,造成長達數小時的停機事故。
挑戰
一個已知的 RabbitMQ 錯誤在高負載下造成長達數小時的 leader election 延遲,使安全平台的營運大量停擺。以 Windows 為基礎的部署增加了維運複雜度,客戶需要在高度管控的部署環境中維持穩定,同時規劃遷移至 Linux。
環境
以 Windows 為基礎的 RabbitMQ 部署,受客戶規定的環境限制,採負載平衡叢集與以 DNS 為基礎的 failover。
做法
AceMQ 提供針對性的顧問時數,涵蓋版本修補、負載平衡器設定、問題排除訓練與 Linux 遷移規劃。這次合作也包含一套可重複使用的 RabbitMQ 重新啟動與問題排除程序手冊。
解決方案
- 找出可解決 leader election 錯誤的特定 RabbitMQ 版本修補
- 設計正式上線前在 staging 環境進行測試的策略
- 設定以 DNS 為基礎的負載平衡器,提升用戶端穩定性
- 為支援人員制定可重複使用的 RabbitMQ 重新啟動手冊
- 為內部支援團隊建立問題排除訓練計畫
- 規劃從 Windows 遷移至 Linux 的路徑,並評估導入 Kubernetes
成效
客戶解決了關鍵的 leader election 問題,具備了內部問題排除能力,並擁有從 Windows 遷移至 Linux 的清楚路徑,以提升維運效率。