導入事例の一覧に戻る

アセスメント航空・空港システム

世界中の空港ゲート管理システムで、メッセージングの信頼性を確保

グローバル航空テクノロジープロバイダー

ミスの許されない航空業界の運用環境で、クラスターのフェイルオーバー、パーティション処理、クォーラムキューの問題をトラブルシューティングしました。

稼働中クラスターでの根本原因分析

概要

同社は、世界中で利用されているミッションクリティカルな空港ゲート管理システムを提供しています。Kubernetes上のRabbitMQ環境では、パブリッシュの失敗、クラスターのフェイルオーバーの問題、クォーラムキューの同期の問題が発生しており、システムの可用性が脅かされていました。

課題

RabbitMQはPostgreSQLと同じKubernetesノード上に同居しており、リソースの競合が起きていました。3,000 IOPSのストレージではクォーラムキューの同期が失敗し、クラスターのパーティションによってゾンビバインディングやメッセージのパブリッシュ失敗が発生していました。チームは、AzureとVMwareの両環境で安定性を維持しながら、RabbitMQ 4.2へアップグレードする必要がありました。

環境

AzureとVMwareにまたがるKubernetesクラスター、PostgreSQLと同居するRabbitMQ、Prometheus/Grafanaによる監視、CおよびNode.jsのクライアントアプリケーション。

アプローチ

AceMQは、連日のセッションを伴う数週間にわたる集中的なアセスメントを実施し、FIOによるディスクのベンチマーク、RAFTコンセンサスのログ分析、インフラ分離戦略の設計を行いました。さらに、フェイルオーバー手順、監視、バックアップ/リストア、Federationを網羅したドキュメントを提供しました。

ソリューション

  1. RabbitMQをPostgreSQLから切り離し、分離されたSSDストレージを備えた専用ノードへ移設
  2. クォーラムキューに必要なサブミリ秒のレイテンシを実現するため、Premium SSD v2ディスクを推奨
  3. 停止したクォーラムキューやゾンビバインディングを自動で検知・復旧するスクリプトを開発
  4. プロアクティブなクラスターのヘルス監視のため、PrometheusメトリクスとGrafanaアラートを設定
  5. フェイルオーバー、バックアップ/リストア、Federation運用を網羅したランブックを提供
  6. 安定性の検証を伴う、RabbitMQ 3.xから4.2へのアップグレードパスを支援

結果

お客様は、適切なリソース分離、自動化された復旧手順、包括的な監視により、Kubernetes上で安定したRabbitMQ運用を実現しました。これにより、世界中の空港システムで信頼性の高いメッセージングが確保されています。

使用テクノロジー

RabbitMQKubernetesQuorum QueuesPrometheusGrafana

RabbitMQのヘルスチェックをご検討ですか?

AceMQのシニアRabbitMQエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。