概要
同社は、RabbitMQをメッセージング基盤の中核に据えたマイクロサービス型のグローバル決済プラットフォームを運用しています。週200件を超える本番変更と厳しい可用性要件のもとでは、RabbitMQのわずかな不安定さも決済処理に直接影響します。
課題
AWSで発生したネットワーク障害により、アベイラビリティゾーンをまたいでメッセージのバインディングが不正確になり、配信の失敗が起きていました。AZ間の通信障害によってメッセージが誤ってルーティングされ、重複処理や配信失敗が発生していたのです。さらに同社は、無停止の運用を維持しながら、RabbitMQ 4.xとの互換性を確保するために、クラシックミラーキューからクォーラムキューへ移行する必要がありました。
環境
AWSのマルチAZ構成、RabbitMQ 3.13(4.1への移行計画あり)、Spring AMQPによるマイクロサービスアーキテクチャ、Kubernetesによるオーケストレーション。
アプローチ
AceMQは、本番環境のRabbitMQ定義を包括的に評価してポリシーと正規表現の誤りを特定し、並行処理、バインディング、ポリシー、クラスターのパーティション処理を含む、Spring Boot AMQPの利用に関するベストプラクティス文書を提供しました。
ソリューション
- AWSのネットワーク障害がRabbitMQクラスターのパーティション時の挙動に与えた影響について、根本原因を診断
- データ損失を防ぐため、パーティション処理を「autoheal」から「pause_minority」に変更するよう提言
- Spring AMQPクライアントにパブリッシャーコンファームと、リトライ処理のためのイベントリスナーを実装
- マイクロサービスでのリソースリークを防ぐ、動的なキュー管理の方針を設計
- RabbitMQ 4.xに向けて、クラシックミラーキューからクォーラムキューへの移行計画を策定
結果
適切なパーティション処理によってRabbitMQの耐障害性が向上し、ネットワーク障害時のメッセージ損失リスクが低減しました。また、長期的な安定性に向けて、クォーラムキューへの明確な移行計画も整いました。