このページの内容
RabbitMQのヘルスチェック・アセスメントとは
ヘルスチェックでは何を調べるのか
- クラスターのトポロジーとノードの健全性。ノード数、ホストやアベイラビリティゾーンへの分散状況、ノードごとのディスクとメモリの使用量、クォーラムキューのリーダーの配置に偏りがないか。
- キューの設定と種類。高可用性が必要なワークロードにクォーラムキューとクラシックキューのどちらを使っているか、ミラーリングされたクラシックキューがまだ残っていないか、キューの深さの推移、コンシューマーのラグ。
- セキュリティ設定。デフォルトの認証情報が削除または変更されているか、TLSが有効か、仮想ホストが分離されているか、ユーザー権限が適切な範囲に絞られているか、監査ログが取られているか。
- パフォーマンスと負荷分散。コネクションがノード間でどう分散しているか、通常の負荷でパブリッシャーのフロー制御が発動していないか、実際のコンシューマーのスループットに対してプリフェッチの設定が適切か。
- リソースのサイジング。現在のキューの深さとメッセージレートに対してノードのメモリとディスクの割り当てが適切か、バーストトラフィックに備えた余裕があるか。
- ErlangとRabbitMQのバージョン。現在のバージョンがコミュニティのサポート期間内か、アップグレードパスはどうなるか、該当する既知のCVEがないか。
- 運用設定。ハートビートの設定、TCPタイムアウトの設定、永続化のポリシー、デッドレターキューの構成、メッセージTTLの設定。
アセスメントでほぼ必ず見つかる5つの問題
/var/lib/rabbitmq)をリアルタイムスキャンの対象に含めているエンドポイント保護ツールは、原因不明のパフォーマンス低下の最もよくある原因の1つです。対処は簡単で、これらのディレクトリを除外するだけですが、見落とされがちです。guestユーザーや、広い権限を持つ管理ユーザーは、チームの想定以上に頻繁にアセスメントで見つかります。仮想ホストによる分離が実装されていないこともよくあります。次のステップとしては、将来を見据えたRabbitMQアーキテクチャの設計、そして環境が複数のベンダーにまたがる場合はインフラサポートの集約もご覧ください。
アセスメントの最後に受け取れるもの
- 各問題の明確な説明と、それが重要である理由
- 具体的な改善手順。曖昧な推奨ではなく、実際に必要な設定変更や対応
- リスクと工数に基づいた、問題に対処する優先順序
- アップグレードパスの推奨(現在のバージョンに該当する場合)
- 経営層と共有できる、現在のクラスターの健全性のサマリー
環境が安定していてもアセスメントは役に立つのか
アセスメントで最も多く見つかる問題
26か国、130社以上のエンタープライズ案件を通じて、同じ問題が繰り返し見つかっています。その多くは、指摘されてしまえば低コストで修正できるものの、何かが壊れるまで目に見えないものです。以下は、当社がレポートで最も頻繁に取り上げる問題です。
- 4.xを前にして、ミラーリングされたクラシックキューが今も使われている。クラシックキューのミラーリングはRabbitMQ 4.0で削除されたため、ha-modeのポリシーに依存しているクラスターは、それらのキューを移行するまでアップグレードできません。また、ミラーリングされたキューは、利用可能なキューの種類の中で最も障害時の挙動が劣ります。対処法はキューごとのクォーラムキューへの移行で、リプレイが必要な一部のワークロードにはストリームを使います。それぞれがどこに適しているかは、クラシックキューとクォーラムキューの比較で解説しています。
- メッセージを失えないフローでパブリッシャーコンファームを使っていない。コンファームがないと、パブリッシャーはTCPへの書き込みが成功しただけで配信完了とみなし、ノード障害やメモリアラームの間にメッセージが人知れず消えていきます。これが最も多く見られるのは注文、決済、請求のフローで、まさにそれが許されないフローです。対処法は、それらのチャネルでコンファームモードを有効にし、nackに対してリトライすることで、通常は小さなコード変更で済みます。
- 長さの上限もTTLもない無制限のキュー。max-lengthもTTLもないキューは、メモリまたはディスクのアラームが発動するまで増え続けます。そうなると、そのキューにメッセージを送っているパブリッシャーだけでなく、クラスター上のすべてのパブリッシャーがブロックされます。対処法は、max-lengthまたはメッセージTTLを設定するポリシーを、アプリケーションのオーナーが合意したオーバーフロー時の挙動とともに適用することです。
- プリフェッチがデフォルトまたは無制限のまま。プリフェッチが無制限だと、1つのコンシューマーがキューの中身を自分のメモリに引き込み、ほかのコンシューマーは何もせずに待つことになります。さらに、コンシューマーがクラッシュすると大量の再配信が発生します。対処法は、コンシューマーの処理時間に合わせてプリフェッチの値を設定することで、一般的には10から数百の範囲です。
- 単一のホットキューがトラフィックの大半を担っている。キューは1つのノード上の1つのErlangプロセスとして動作するため、クラスターのスループットの大半を1つのキューが担っていると、クラスター全体の処理能力が1コア分に頭打ちになります。対処法は、consistent-hashまたはdirectのルーティングで複数のキューにシャーディングするか、コンシューマーがオフセットベースのモデルに対応できるならストリームを使うことです。
- アップグレード後もフィーチャーフラグが有効化されていない。フィーチャーフラグは、ディスク上のデータ形式とノード間の通信形式を切り替えるものです。複数のマイナーバージョンをまたいでアップグレードしてきたクラスターでは、フラグが無効のまま残っていることが多く、次のメジャーアップグレードが完全に阻まれます。対処法は、すべてのノードが同じバージョンになった時点で安定版のフラグをすべて有効にし、3.xから4.xへの移行を計画する前にそれを確認することです。
- Erlangのバージョンがサポートマトリクスより古い。RabbitMQの各リリースがサポートするErlang/OTPのバージョンは狭い範囲に限られており、サポート対象外の組み合わせは、どのサポートケースでもまず最初に修正を求められる項目です。対処法は、Erlangを移行先のRabbitMQのバージョンに合わせることで、通常はブローカーのアップグレードと同じメンテナンスウィンドウで行います。
- デッドレターのコンシューマーもアラートもない。デッドレターエクスチェンジ自体はたいてい設定されています。欠けているのは、それを読み取る仕組みです。メッセージが何か月も溜まり続け、誰かが初めて目を向けるのはインシデントの最中です。対処法は、デッドレターキューのガイドで解説しているように、コンシューマーを用意するか、少なくともデッドレターキューの深さにアラートを設定することです。
- 誰も見ていないところでアラームが発動している。メモリやディスクのアラームが発動してパブリッシャーがブロックされ、チームはそれをアプリケーション側から知ることになります。対処法は、アラームとノードダウンのイベントを、チームがすでに呼び出しに使っている仕組みに流し、対応する余裕を残したしきい値を設定することです。
- 定義が一度もエクスポートされていない。エクスチェンジ、キュー、バインディング、ユーザー、ポリシーが稼働中のクラスターの中にしか存在しないため、災害後の再構築は記憶を頼りに行うことになります。対処法は、定義を定期的にエクスポートしてバージョン管理に取り込むことで、これにより環境間の差異も可視化されます。
案件の進め方と成果物
ヘルスチェックは、開始と終了が明確に定められた範囲固定の案件で、4つのステップで進めます。
- キックオフとアクセスの準備。短いお打ち合わせで範囲を合意し、窓口となる担当者を決め、管理インターフェースとメトリクスへの読み取り専用アクセスを設定します。案件の期間を通じて、クラスターには一切変更を加えません。
- 1〜2週間のデータ収集とヒアリング。定義、ポリシー、ノードとキューのメトリクス、ログ、バージョン情報を取得し、プラットフォームとその上のアプリケーションを担当する方々にお話を伺います。メトリクスが示すのはクラスターが実際にしていることであり、本来すべきことではないため、ヒアリングが重要になります。
- チームとの調査結果レビュー。レポートを確定する前に、お客様と一緒に調査結果を一つずつ確認し、チームが把握している内容と照らし合わせたうえで、優先順位を共同で決めます。
- レポート(書面)。重大度付きの優先順位を付けた調査結果、当社がいなくてもチームが実行できる改善計画、キャパシティとバージョンの現状、次のアップグレードの可否判断を含みます。改善計画は、ベストプラクティスの羅列ではなく、理由を添えた順序付きの作業項目として記述します。
お客様側にご用意いただくのは、プラットフォームのオーナー1名、アプリケーションのオーナー1名、そして読み取り専用の管理アクセスです。お客様にご負担いただく時間は、キックオフ、1〜2回のヒアリング、調査結果レビューを合わせて数時間程度です。
レポートの後には2つの選択肢があります。チームが自分たちのスケジュールで計画を実行するか、AceMQがRabbitMQコンサルティング案件として、またはサポート契約の一環として実行するかです。サポート契約の場合は、以降のクラスターに対する15分のP1対応も付きます。どちらかを前提にすることはありません。これほど中核的なシステムでは、パートナーにアーキテクチャをレビューしてもらうのはごく一般的なことであり、レビューを受けたからといってその先の何かを約束する必要はありません。着手前に、健全な目標構成がどのようなものかを知りたいチームは、本番環境向けRabbitMQアーキテクチャガイドをご覧ください。
エンジニアが担当する版のお申し込み、または無料のセルフサービスレポートからお試しになる場合は、RabbitMQヘルスチェックサービスをご覧ください。
よくある質問
RabbitMQのパートナーにアーキテクチャをレビューしてもらえますか?
はい。アーキテクチャレビューはRabbitMQヘルスチェックの中核であり、AceMQとのお取引の多くはここから始まります。Broadcomの独占的な戦略的RabbitMQ MSPパートナーとして、オンプレミスでもどのクラウドでも、3.8.xから4.xまでのあらゆるクラスターを、読み取り専用のアクセスのみでレビューします。トポロジー、キューの種類、ポリシー、クライアントの挙動、監視、アップグレードへの準備状況を対象とし、最後にお客様のチームが所有するレポート(書面)をお渡しします。サポート契約は不要で、契約を約束していただく必要もありません。
RabbitMQのアーキテクチャコンサルティングは必要ですか?
必ずしも必要ではありません。クラスターがサポート対象のバージョンで動いていて、キューの種類がワークロードに合っており、コンファームとプリフェッチが意図的に設定され、誰かがアラームを監視しているなら、おそらく問題はありません。そのうちどれか1つでも分からない場合や、4.xへのアップグレードが控えているのにクラスターの準備ができているか誰も答えられない場合は、ヘルスチェックが低コストで答えを出します。多くのチームはアセスメントだけで必要なことがまかなえたと感じ、より大きなコンサルティング案件に進むのは一部にとどまります。
RabbitMQヘルスチェックにはどのくらいの期間がかかりますか?
一般的な環境であれば、開始から完了まで2〜3週間です。キックオフとアクセスの準備に1〜2日、データ収集とヒアリングに1〜2週間かかり、その後数日以内に調査結果のレビューとレポート(書面)の提出を行います。クラスターや環境の数が多い大規模な環境ではさらに時間がかかり、その旨はお見積もりに明記します。お客様側にご負担いただく時間は、案件全体で数時間程度です。障害が発生中の場合は、まず15分のP1対応によるサポートで対処し、クラスターが安定してからアセスメントを実施します。
RabbitMQアセスメントの費用はどのくらいですか?
クラスター数と環境数をもとに範囲を定め、スコーピングのお打ち合わせから24時間以内にお見積もりをお出しします。範囲が固定されており、クラスターには一切変更を加えず、成果物は実装ではなくレポートであるため、通常はAceMQの案件の中で最も費用を抑えられるものです。改善作業を当社にご依頼いただく場合は、コンサルティングまたはサポートとして別途お見積もりします。計画をご自身で実行されるチームも多くあります。