概要
同社のIoTプラットフォームは、大規模な接続デバイス群のメッセージングをRabbitMQで処理しており、今後も大幅な拡大を計画していました。毎週発生するメモリ不足によるクラッシュとパフォーマンスのボトルネックが、プラットフォームの安定性と成長計画を脅かしていました。
課題
RabbitMQのノードは、不適切な垂直スケーリングの方針、低すぎるprefetch count(1に設定)、キューへのTTL設定の欠如が原因で、メモリ不足エラーにより毎週クラッシュしていました。遅いコンシューマーによるプロデューサーのブロッキングが、連鎖的な障害を引き起こしていました。また、チームはミラーリングなしのクラシックキューを使っていたため、ノード障害時にデータを失うおそれがありました。
環境
Kubernetes上のデプロイ、多数のデバイス接続を処理するRabbitMQ、Spring Bootのコンシューマー、Prometheus/Grafanaによる監視を伴う水平スケーリングの計画。
アプローチ
AceMQは数日間にわたる集中的な改善対応を実施し、稼働中の環境のレビュー、リアルタイムでの設定変更、実地でのパフォーマンス最適化を行いました。チームはメトリクスを分析し、トポロジーをレビューし、スケーリングに向けた詳細なアーキテクチャ上の推奨事項を提示しました。
ソリューション
- 垂直スケーリングではなく水平スケーリング(ノードの追加)の戦略を推奨
- prefetch countを1から20に引き上げ、コンシューマーのスループットを大幅に改善
- ディスクへの直接書き込みを有効にするlazy queueを設定し、プロデューサーのブロッキングを軽減
- キューごとのメモリ上限とTTLポリシーを導入し、OOMによるクラッシュを防止
- high water markを0.7から0.9に引き上げ、メモリの利用効率を改善
- 高可用性のため、クラシックキューからクォーラムキューへの移行パスを設計
- キャパシティプランニング用に、Excelベースのサーバー要件計算ツールを提供
結果
お客様は、繰り返し発生していたRabbitMQのクラッシュを止め、コンシューマーのスループットを改善することを目指した設定変更とスケーリングのロードマップを受け取り、増え続けるデバイス数に対応する明確な道筋を手にしました。