概要
同社は、世界中で利用されているミッションクリティカルな空港ゲート管理システムを提供しています。Kubernetes上のRabbitMQ環境では、パブリッシュの失敗、クラスターのフェイルオーバーの問題、クォーラムキューの同期の問題が発生しており、システムの可用性が脅かされていました。
課題
RabbitMQはPostgreSQLと同じKubernetesノード上に同居しており、リソースの競合が起きていました。3,000 IOPSのストレージではクォーラムキューの同期が失敗し、クラスターのパーティションによってゾンビバインディングやメッセージのパブリッシュ失敗が発生していました。チームは、AzureとVMwareの両環境で安定性を維持しながら、RabbitMQ 4.2へアップグレードする必要がありました。
環境
AzureとVMwareにまたがるKubernetesクラスター、PostgreSQLと同居するRabbitMQ、Prometheus/Grafanaによる監視、CおよびNode.jsのクライアントアプリケーション。
アプローチ
AceMQは、連日のセッションを伴う数週間にわたる集中的なアセスメントを実施し、FIOによるディスクのベンチマーク、RAFTコンセンサスのログ分析、インフラ分離戦略の設計を行いました。さらに、フェイルオーバー手順、監視、バックアップ/リストア、Federationを網羅したドキュメントを提供しました。
ソリューション
- RabbitMQをPostgreSQLから切り離し、分離されたSSDストレージを備えた専用ノードへ移設
- クォーラムキューに必要なサブミリ秒のレイテンシを実現するため、Premium SSD v2ディスクを推奨
- 停止したクォーラムキューやゾンビバインディングを自動で検知・復旧するスクリプトを開発
- プロアクティブなクラスターのヘルス監視のため、PrometheusメトリクスとGrafanaアラートを設定
- フェイルオーバー、バックアップ/リストア、Federation運用を網羅したランブックを提供
- 安定性の検証を伴う、RabbitMQ 3.xから4.2へのアップグレードパスを支援
結果
お客様は、適切なリソース分離、自動化された復旧手順、包括的な監視により、Kubernetes上で安定したRabbitMQ運用を実現しました。これにより、世界中の空港システムで信頼性の高いメッセージングが確保されています。