概覽
這家公司營運一套以微服務建構的全球支付平台,並以 RabbitMQ 作為核心訊息骨幹。每週超過 200 次正式環境變更,加上嚴格的可用性要求,任何 RabbitMQ 不穩定都會直接影響支付處理。
挑戰
一次 AWS 網路中斷,導致跨可用區域出現錯誤的訊息繫結與投遞失敗。由於 AZ 之間的通訊失敗,訊息被錯誤路由,造成重複處理與投遞失敗。團隊需要從傳統鏡像佇列遷移至仲裁佇列(quorum queues),以相容 RabbitMQ 4.x,同時維持零停機維運。
環境
AWS 多 AZ 部署、RabbitMQ 3.13 並規劃遷移至 4.1、Spring AMQP 微服務架構、Kubernetes 容器編排。
做法
AceMQ 全面評估了 RabbitMQ 正式環境的定義,找出政策與正規表示式的錯誤,並交付 Spring Boot AMQP 使用的最佳實務文件,內容涵蓋並行處理、繫結、政策,以及叢集網路分割的處理方式。
解決方案
- 診斷 AWS 網路中斷影響 RabbitMQ 叢集網路分割行為的根本原因
- 建議將網路分割處理模式從「auto heal」改為「pause minority」,以避免資料遺失
- 在 Spring AMQP 用戶端中實作發布確認(publisher confirms)與事件監聽器,用於重試邏輯
- 設計動態佇列管理策略,防止微服務發生資源洩漏
- 規劃從傳統鏡像佇列遷移至 RabbitMQ 4.x 仲裁佇列的路徑
成效
客戶透過正確的網路分割處理提升了 RabbitMQ 韌性,降低了網路事件期間訊息遺失的風險,並取得一條明確遷移至仲裁佇列的路徑,確保長期穩定。