概要
Pub/Subを使えばブローカーの運用はチームの手を離れます。しかし、サブスクリプションのモデル、確認応答の期限、順序の保証、デッドレターのポリシーは依然として設計上の判断であり、メッセージが失われるか重複するかを左右するのも、やはりこれらの判断です。
課題
よくある障害パターンは、コンシューマーの処理時間に対して確認応答の期限が短すぎることによる再配信、誰も監視していないデッドレターの際限ない増加、そして処理量が増えるにつれてワークロードとは異なる伸び方をする請求額です。
環境
セルフマネージドのRabbitMQやKafkaと併用している環境も含め、あらゆるGoogle Cloud Pub/Sub環境が対象です。
アプローチ
AceMQは、トピックとサブスクリプションの設計を配信要件に照らして、確認応答とリトライの挙動を実際のコンシューマーの処理時間に照らしてレビューします。あわせて、デッドレターと保持のポリシー、そして現在および将来の処理量で支配的になるコスト要因を確認し、セルフマネージドのメッセージングの方が安くなる分岐点も示します。
ソリューション
- 配信保証に照らしたトピックとサブスクリプションの設計レビュー
- 確認応答の期限と再配信の挙動の分析
- デッドレタートピックと保持ポリシーのレビュー
- 順序保証とexactly-onceに対する期待値の検証
- 現在および将来の処理量におけるコストのモデル化
- 必要に応じた、セルフマネージドのRabbitMQやKafkaとの比較
結果
Pub/Subの設計のどこでメッセージが重複・欠落するのか、次の処理量の段階でどれだけのコストがかかるのか、そしてマネージドメッセージングが引き続き正しい選択なのかを、明確に把握できます。