概要
同社は、BizTalkおよびDynamics 365と連携したRabbitMQで決済取引サービスを運用しています。エラーキューの手作業による管理に多くの人手が割かれ、滞留したメッセージを解消するために1日に何度も介入が必要でした。
課題
BizTalkとD365のサービスで発生する下流のボトルネックが400 Bad Requestエラーを引き起こし、エラーキューがあふれて、1日に何度も手作業での介入が必要になっていました。リトライの自動化ロジックもデッドレターの処理もなかったため、担当者は本来の業務に集中する代わりに、エラーキューの解消に何時間も費やしていました。さらに、ディスク容量の管理とログのローテーションが運用の不安定さの原因にもなっていました。
環境
WindowsベースのRabbitMQのデプロイ、BizTalkの連携レイヤー、Dynamics 365、Connect Directの運用に使うIBM MQ、複数の本番環境。
アプローチ
AceMQは包括的なアセスメントを実施し、優先度が高い是正タスクと中程度の是正タスクを特定しました。チームは、RabbitMQのデッドレターエクスチェンジとShovelプラグインを使った自動リトライの戦略を実装するとともに、ログのローテーションやディスク容量のアラートといった運用上の懸念にも対処しました。
ソリューション
- リトライ回数を設定できるRabbitMQのデッドレターポリシーとデッドレターエクスチェンジを実装
- エラーキューからメッセージを自動でリトライするためのShovelプラグインを構成
- 下流への負荷を和らげるため、遅延の仕組みを組み込んだnackベースのリトライ戦略を設計
- 圧縮済みログファイルを10個保持するログのローテーションと、2GBをしきい値とするディスク容量のアラートを実装
- バックプレッシャーを検知するためのコンシューマーのメトリクス監視を構築
- インシデント後の分析に使うデッドレターの履歴アーカイブを作成
結果
同社では、エラーキューへの手作業による介入が、1日に何度も行う作業から、まれな例外対応にまで大幅に減りました。リトライ処理の自動化と監視の改善により、下流の問題が業務に影響を与える前に早期の警告が得られるようになりました。