概覽
這家公司營運的支付交換服務以 RabbitMQ 整合 BizTalk 與 Dynamics 365。人工管理錯誤佇列耗費了大量人力,每天都需要多次介入,才能清除卡住的訊息。
挑戰
BizTalk 與 D365 服務的下游瓶頸造成 400 bad request 錯誤,大量湧入錯誤佇列,每天都需要多次人工介入。由於缺乏自動重試邏輯與 dead-letter 處理,人員得花好幾個小時清理錯誤佇列,而無法專注於業務運作。此外,磁碟空間管理與日誌輪替也造成維運上的不穩定。
環境
以 Windows 為基礎的 RabbitMQ 部署、BizTalk 整合層、Dynamics 365、負責 Connect Direct 作業的 IBM MQ,以及多個正式環境。
做法
AceMQ 進行全面評估,找出高優先與中優先的修正項目。團隊利用 RabbitMQ 的 dead-letter exchange 與 shovel 外掛實作自動重試策略,同時處理日誌輪替與磁碟空間告警等維運問題。
解決方案
- 實作 RabbitMQ dead-letter 政策,搭配可設定的重試次數與 dead-letter exchange
- 設定 shovel 外掛,自動從錯誤佇列重試訊息
- 設計以 nack 為基礎、搭配延遲機制的重試策略,以緩解下游壓力
- 實作保留 10 個壓縮日誌檔的日誌輪替,並在 2GB 門檻設定磁碟空間告警
- 建立消費者指標監控,以偵測背壓
- 建立歷史 dead-letter 封存,供事後事故分析使用
成效
客戶大幅減少了錯誤佇列的人工介入,從每天多次作業降到僅有少數例外。自動重試處理與強化後的監控,能在下游問題影響營運之前及早發出警示。