導入事例の一覧に戻る

是正対応通信

グローバル通信大手のために、大規模な接続デバイス群を支えるRabbitMQのスケーリングを実現

グローバル通信大手

毎週発生していたRabbitMQのクラッシュを解消し、大規模な接続デバイス群向けに最適化するとともに、水平スケーリングの戦略を設計。

パフォーマンスのトラブルシューティング

概要

同社のIoTプラットフォームは、大規模な接続デバイス群のメッセージングをRabbitMQで処理しており、今後も大幅な拡大を計画していました。毎週発生するメモリ不足によるクラッシュとパフォーマンスのボトルネックが、プラットフォームの安定性と成長計画を脅かしていました。

課題

RabbitMQのノードは、不適切な垂直スケーリングの方針、低すぎるprefetch count(1に設定)、キューへのTTL設定の欠如が原因で、メモリ不足エラーにより毎週クラッシュしていました。遅いコンシューマーによるプロデューサーのブロッキングが、連鎖的な障害を引き起こしていました。また、チームはミラーリングなしのクラシックキューを使っていたため、ノード障害時にデータを失うおそれがありました。

環境

Kubernetes上のデプロイ、多数のデバイス接続を処理するRabbitMQ、Spring Bootのコンシューマー、Prometheus/Grafanaによる監視を伴う水平スケーリングの計画。

アプローチ

AceMQは数日間にわたる集中的な改善対応を実施し、稼働中の環境のレビュー、リアルタイムでの設定変更、実地でのパフォーマンス最適化を行いました。チームはメトリクスを分析し、トポロジーをレビューし、スケーリングに向けた詳細なアーキテクチャ上の推奨事項を提示しました。

ソリューション

  1. 垂直スケーリングではなく水平スケーリング(ノードの追加)の戦略を推奨
  2. prefetch countを1から20に引き上げ、コンシューマーのスループットを大幅に改善
  3. ディスクへの直接書き込みを有効にするlazy queueを設定し、プロデューサーのブロッキングを軽減
  4. キューごとのメモリ上限とTTLポリシーを導入し、OOMによるクラッシュを防止
  5. high water markを0.7から0.9に引き上げ、メモリの利用効率を改善
  6. 高可用性のため、クラシックキューからクォーラムキューへの移行パスを設計
  7. キャパシティプランニング用に、Excelベースのサーバー要件計算ツールを提供

結果

お客様は、繰り返し発生していたRabbitMQのクラッシュを止め、コンシューマーのスループットを改善することを目指した設定変更とスケーリングのロードマップを受け取り、増え続けるデバイス数に対応する明確な道筋を手にしました。

使用テクノロジー

RabbitMQKubernetesQuorum QueuesPrometheusGrafana

RabbitMQの本番環境で問題が発生していますか?

AceMQのシニアRabbitMQエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。