RabbitMQ

RabbitMQのアセスメント・ヘルスチェックで実際に得られるもの

Tyler Eastridge

執筆:Tyler Eastridge(オペレーション責任者)

LinkedIn · 更新日:

Cluster HealthQueue ConfigSecurity AuditCVE ReviewHealth Check & Assessment
このページの内容
RabbitMQヘルスチェックは、実際に受けてみるまでは売り込みのためのサービスに聞こえがちです。アセスメントから最も大きな価値を得るのは、たいてい懐疑的な気持ちで臨んだチーム、つまり自分たちの環境は安定していると確信していたチームです。そうしたチームが、監視では何か月も見逃されていた問題の優先順位付きリストを手にすることになります。
本記事では、RabbitMQアセスメントが実際に何を対象とするのか、最後に何を受け取れるのか、そして環境の成熟度にかかわらず繰り返し見つかる問題の種類について説明します。

RabbitMQのヘルスチェック・アセスメントとは

RabbitMQヘルスチェックとは、範囲を固定して行う環境の技術レビューです。監視ツールでも、ペネトレーションテストでも、継続的なサービスでもありません。専門家がクラスターの設定、トポロジー、セキュリティ設定、リソース使用率、運用のパターンを体系的に調べ、優先順位付きの推奨事項をまとめた調査結果レポートを作成する案件です。
AceMQでは、主に2種類の案件形態をご用意しています。
単独のヘルスチェック/設定監査:継続的な契約を必要としない、1回限りの範囲固定のレビューです。クラスターの健全性、キューのトポロジー、設定値、セキュリティのベースライン、負荷分散、リソースのサイジングを対象とし、優先順位付きの調査結果レポートをお届けします。標準的な期間は1〜2週間です。
ディスカバリー+アーキテクチャ案件:ヘルスチェックの内容に加えて、アーキテクチャに関する推奨事項、アップグレードパスの計画、運用ロードマップを含む、より広範なアセスメントです。移行、バージョンアップグレード、新しいKubernetes環境の構築に先立つ入り口としてよく利用されます。

ヘルスチェックでは何を調べるのか

本格的なRabbitMQヘルスチェックでは、環境の複数のレイヤーを対象とします。
  • クラスターのトポロジーとノードの健全性。ノード数、ホストやアベイラビリティゾーンへの分散状況、ノードごとのディスクとメモリの使用量、クォーラムキューのリーダーの配置に偏りがないか。
  • キューの設定と種類。高可用性が必要なワークロードにクォーラムキューとクラシックキューのどちらを使っているか、ミラーリングされたクラシックキューがまだ残っていないか、キューの深さの推移、コンシューマーのラグ。
  • セキュリティ設定。デフォルトの認証情報が削除または変更されているか、TLSが有効か、仮想ホストが分離されているか、ユーザー権限が適切な範囲に絞られているか、監査ログが取られているか。
  • パフォーマンスと負荷分散。コネクションがノード間でどう分散しているか、通常の負荷でパブリッシャーのフロー制御が発動していないか、実際のコンシューマーのスループットに対してプリフェッチの設定が適切か。
  • リソースのサイジング。現在のキューの深さとメッセージレートに対してノードのメモリとディスクの割り当てが適切か、バーストトラフィックに備えた余裕があるか。
  • ErlangとRabbitMQのバージョン。現在のバージョンがコミュニティのサポート期間内か、アップグレードパスはどうなるか、該当する既知のCVEがないか。
  • 運用設定。ハートビートの設定、TCPタイムアウトの設定、永続化のポリシー、デッドレターキューの構成、メッセージTTLの設定。

アセスメントでほぼ必ず見つかる5つの問題

銀行や公益事業からSaaSプラットフォーム、医療システムまで、エンタープライズのRabbitMQ環境を対象としたアセスメントでは、次の5種類の問題が一貫して繰り返し見つかります。
1. ミラーリングされたクラシックキューが今も使われている。クォーラムキューが標準の推奨となる前にRabbitMQを導入した組織では、重要なワークロードに今もミラーリングされたクラシックキューを使っていることがよくあります。ミラーリングされたクラシックキューは非推奨(RabbitMQ 4.xで削除)であり、スプリットブレインをはじめとする既知の障害パターンがあります。
2. ウイルス対策ソフトやセキュリティツールがRabbitMQのデータディレクトリをスキャンしている。RabbitMQのデータディレクトリ(/var/lib/rabbitmq)をリアルタイムスキャンの対象に含めているエンドポイント保護ツールは、原因不明のパフォーマンス低下の最もよくある原因の1つです。対処は簡単で、これらのディレクトリを除外するだけですが、見落とされがちです。
3. デフォルトの認証情報や過剰な権限を持つユーザー。デフォルトのguestユーザーや、広い権限を持つ管理ユーザーは、チームの想定以上に頻繁にアセスメントで見つかります。仮想ホストによる分離が実装されていないこともよくあります。
4. クラウド環境に合っていないハートビートとTCPタイムアウトの設定。RabbitMQのデフォルトのハートビートとTCPタイムアウトの設定は、低レイテンシーのローカルネットワーク環境向けに調整されています。クラウド環境、特にアベイラビリティゾーンをまたぐ構成やNATゲートウェイを経由する構成では、このデフォルト値が誤検知によるコネクション切断と不要なクライアントの再接続を引き起こします。
5. リソース不足や偏りのあるクラスター。3つのノードが2台の物理ホストにしか分散しておらず(アンチアフィニティが機能していない)、あるいはメモリやディスクのサイジングが実際のワーキングセットに合っていないクラスターです。メモリの高水位標(high watermark)の設定も、実際の負荷パターンを反映しないデフォルト値のまま放置されていることがよくあります。

次のステップとしては、将来を見据えたRabbitMQアーキテクチャの設計、そして環境が複数のベンダーにまたがる場合はインフラサポートの集約もご覧ください。

アセスメントの最後に受け取れるもの

重大度(クリティカル、高、中、低)ごとに整理された、体系的な調査結果レポートです。内容は次のとおりです。
  • 各問題の明確な説明と、それが重要である理由
  • 具体的な改善手順。曖昧な推奨ではなく、実際に必要な設定変更や対応
  • リスクと工数に基づいた、問題に対処する優先順序
  • アップグレードパスの推奨(現在のバージョンに該当する場合)
  • 経営層と共有できる、現在のクラスターの健全性のサマリー
アーキテクチャを範囲に含む案件では、成果物にアーキテクチャ図、キャパシティプランニングの指針、運用ロードマップも含まれます。

プランに応じた15分からの対応目標。専任のシニアエンジニアが担当。

お問い合わせ

環境が安定していてもアセスメントは役に立つのか

たいていの場合は役に立ちます。むしろ、安定していることこそがアセスメントの価値を最も高める要因になることが少なくありません。環境が現に壊れているチームは、インシデント対応で手一杯です。環境が安定しているチームには推奨事項を実際に実施する余力があり、まだインシデントにはなっていないものの何か月も前から積み上がっている、緊急度の低い問題を抱えていることがよくあります。
当社が手がけた中で最も効果の大きかったアセスメントは、「順調に動いているが、専門家の目で一度見てほしい」とおっしゃったお客様のものでした。そこで見つかったのは、3年前の設定上の判断が、気づかないうちにパフォーマンスを制限していたり、セキュリティ上のリスクを生んでいたりしたという事実です。
RabbitMQヘルスチェックの日程調整や、ディスカバリー案件の範囲についてのご相談をご希望ですか?お客様の環境に最適な進め方について、RabbitMQサポートチームにお問い合わせください。

アセスメントで最も多く見つかる問題

26か国、130社以上のエンタープライズ案件を通じて、同じ問題が繰り返し見つかっています。その多くは、指摘されてしまえば低コストで修正できるものの、何かが壊れるまで目に見えないものです。以下は、当社がレポートで最も頻繁に取り上げる問題です。

  • 4.xを前にして、ミラーリングされたクラシックキューが今も使われている。クラシックキューのミラーリングはRabbitMQ 4.0で削除されたため、ha-modeのポリシーに依存しているクラスターは、それらのキューを移行するまでアップグレードできません。また、ミラーリングされたキューは、利用可能なキューの種類の中で最も障害時の挙動が劣ります。対処法はキューごとのクォーラムキューへの移行で、リプレイが必要な一部のワークロードにはストリームを使います。それぞれがどこに適しているかは、クラシックキューとクォーラムキューの比較で解説しています。
  • メッセージを失えないフローでパブリッシャーコンファームを使っていない。コンファームがないと、パブリッシャーはTCPへの書き込みが成功しただけで配信完了とみなし、ノード障害やメモリアラームの間にメッセージが人知れず消えていきます。これが最も多く見られるのは注文、決済、請求のフローで、まさにそれが許されないフローです。対処法は、それらのチャネルでコンファームモードを有効にし、nackに対してリトライすることで、通常は小さなコード変更で済みます。
  • 長さの上限もTTLもない無制限のキュー。max-lengthもTTLもないキューは、メモリまたはディスクのアラームが発動するまで増え続けます。そうなると、そのキューにメッセージを送っているパブリッシャーだけでなく、クラスター上のすべてのパブリッシャーがブロックされます。対処法は、max-lengthまたはメッセージTTLを設定するポリシーを、アプリケーションのオーナーが合意したオーバーフロー時の挙動とともに適用することです。
  • プリフェッチがデフォルトまたは無制限のまま。プリフェッチが無制限だと、1つのコンシューマーがキューの中身を自分のメモリに引き込み、ほかのコンシューマーは何もせずに待つことになります。さらに、コンシューマーがクラッシュすると大量の再配信が発生します。対処法は、コンシューマーの処理時間に合わせてプリフェッチの値を設定することで、一般的には10から数百の範囲です。
  • 単一のホットキューがトラフィックの大半を担っている。キューは1つのノード上の1つのErlangプロセスとして動作するため、クラスターのスループットの大半を1つのキューが担っていると、クラスター全体の処理能力が1コア分に頭打ちになります。対処法は、consistent-hashまたはdirectのルーティングで複数のキューにシャーディングするか、コンシューマーがオフセットベースのモデルに対応できるならストリームを使うことです。
  • アップグレード後もフィーチャーフラグが有効化されていない。フィーチャーフラグは、ディスク上のデータ形式とノード間の通信形式を切り替えるものです。複数のマイナーバージョンをまたいでアップグレードしてきたクラスターでは、フラグが無効のまま残っていることが多く、次のメジャーアップグレードが完全に阻まれます。対処法は、すべてのノードが同じバージョンになった時点で安定版のフラグをすべて有効にし、3.xから4.xへの移行を計画する前にそれを確認することです。
  • Erlangのバージョンがサポートマトリクスより古い。RabbitMQの各リリースがサポートするErlang/OTPのバージョンは狭い範囲に限られており、サポート対象外の組み合わせは、どのサポートケースでもまず最初に修正を求められる項目です。対処法は、Erlangを移行先のRabbitMQのバージョンに合わせることで、通常はブローカーのアップグレードと同じメンテナンスウィンドウで行います。
  • デッドレターのコンシューマーもアラートもない。デッドレターエクスチェンジ自体はたいてい設定されています。欠けているのは、それを読み取る仕組みです。メッセージが何か月も溜まり続け、誰かが初めて目を向けるのはインシデントの最中です。対処法は、デッドレターキューのガイドで解説しているように、コンシューマーを用意するか、少なくともデッドレターキューの深さにアラートを設定することです。
  • 誰も見ていないところでアラームが発動している。メモリやディスクのアラームが発動してパブリッシャーがブロックされ、チームはそれをアプリケーション側から知ることになります。対処法は、アラームとノードダウンのイベントを、チームがすでに呼び出しに使っている仕組みに流し、対応する余裕を残したしきい値を設定することです。
  • 定義が一度もエクスポートされていない。エクスチェンジ、キュー、バインディング、ユーザー、ポリシーが稼働中のクラスターの中にしか存在しないため、災害後の再構築は記憶を頼りに行うことになります。対処法は、定義を定期的にエクスポートしてバージョン管理に取り込むことで、これにより環境間の差異も可視化されます。

案件の進め方と成果物

ヘルスチェックは、開始と終了が明確に定められた範囲固定の案件で、4つのステップで進めます。

  • キックオフとアクセスの準備。短いお打ち合わせで範囲を合意し、窓口となる担当者を決め、管理インターフェースとメトリクスへの読み取り専用アクセスを設定します。案件の期間を通じて、クラスターには一切変更を加えません。
  • 1〜2週間のデータ収集とヒアリング。定義、ポリシー、ノードとキューのメトリクス、ログ、バージョン情報を取得し、プラットフォームとその上のアプリケーションを担当する方々にお話を伺います。メトリクスが示すのはクラスターが実際にしていることであり、本来すべきことではないため、ヒアリングが重要になります。
  • チームとの調査結果レビュー。レポートを確定する前に、お客様と一緒に調査結果を一つずつ確認し、チームが把握している内容と照らし合わせたうえで、優先順位を共同で決めます。
  • レポート(書面)。重大度付きの優先順位を付けた調査結果、当社がいなくてもチームが実行できる改善計画、キャパシティとバージョンの現状、次のアップグレードの可否判断を含みます。改善計画は、ベストプラクティスの羅列ではなく、理由を添えた順序付きの作業項目として記述します。

お客様側にご用意いただくのは、プラットフォームのオーナー1名、アプリケーションのオーナー1名、そして読み取り専用の管理アクセスです。お客様にご負担いただく時間は、キックオフ、1〜2回のヒアリング、調査結果レビューを合わせて数時間程度です。

レポートの後には2つの選択肢があります。チームが自分たちのスケジュールで計画を実行するか、AceMQがRabbitMQコンサルティング案件として、またはサポート契約の一環として実行するかです。サポート契約の場合は、以降のクラスターに対する15分のP1対応も付きます。どちらかを前提にすることはありません。これほど中核的なシステムでは、パートナーにアーキテクチャをレビューしてもらうのはごく一般的なことであり、レビューを受けたからといってその先の何かを約束する必要はありません。着手前に、健全な目標構成がどのようなものかを知りたいチームは、本番環境向けRabbitMQアーキテクチャガイドをご覧ください。

エンジニアが担当する版のお申し込み、または無料のセルフサービスレポートからお試しになる場合は、RabbitMQヘルスチェックサービスをご覧ください。

よくある質問

RabbitMQのパートナーにアーキテクチャをレビューしてもらえますか?

はい。アーキテクチャレビューはRabbitMQヘルスチェックの中核であり、AceMQとのお取引の多くはここから始まります。Broadcomの独占的な戦略的RabbitMQ MSPパートナーとして、オンプレミスでもどのクラウドでも、3.8.xから4.xまでのあらゆるクラスターを、読み取り専用のアクセスのみでレビューします。トポロジー、キューの種類、ポリシー、クライアントの挙動、監視、アップグレードへの準備状況を対象とし、最後にお客様のチームが所有するレポート(書面)をお渡しします。サポート契約は不要で、契約を約束していただく必要もありません。

RabbitMQのアーキテクチャコンサルティングは必要ですか?

必ずしも必要ではありません。クラスターがサポート対象のバージョンで動いていて、キューの種類がワークロードに合っており、コンファームとプリフェッチが意図的に設定され、誰かがアラームを監視しているなら、おそらく問題はありません。そのうちどれか1つでも分からない場合や、4.xへのアップグレードが控えているのにクラスターの準備ができているか誰も答えられない場合は、ヘルスチェックが低コストで答えを出します。多くのチームはアセスメントだけで必要なことがまかなえたと感じ、より大きなコンサルティング案件に進むのは一部にとどまります。

RabbitMQヘルスチェックにはどのくらいの期間がかかりますか?

一般的な環境であれば、開始から完了まで2〜3週間です。キックオフとアクセスの準備に1〜2日、データ収集とヒアリングに1〜2週間かかり、その後数日以内に調査結果のレビューとレポート(書面)の提出を行います。クラスターや環境の数が多い大規模な環境ではさらに時間がかかり、その旨はお見積もりに明記します。お客様側にご負担いただく時間は、案件全体で数時間程度です。障害が発生中の場合は、まず15分のP1対応によるサポートで対処し、クラスターが安定してからアセスメントを実施します。

RabbitMQアセスメントの費用はどのくらいですか?

クラスター数と環境数をもとに範囲を定め、スコーピングのお打ち合わせから24時間以内にお見積もりをお出しします。範囲が固定されており、クラスターには一切変更を加えず、成果物は実装ではなくレポートであるため、通常はAceMQの案件の中で最も費用を抑えられるものです。改善作業を当社にご依頼いただく場合は、コンサルティングまたはサポートとして別途お見積もりします。計画をご自身で実行されるチームも多くあります。

無料相談

お客様のRabbitMQ クラスターを専門家がチェックします

本番環境のインシデント対応、移行の計画、アーキテクチャのセカンドオピニオンなど、どのようなご相談にもAceMQのチームが対応します。売り込みは一切なく、ご質問に的確にお答えします。

メールで問い合わせる