ブログRabbitMQ

RabbitMQのインシデント対応:最初の15分

Scott Sternloff

執筆:Scott Sternloff(シニアエンタープライズアーキテクト)

LinkedIn · 更新日: · 8分で読めます

RabbitMQのインシデント対応:最初の15分
On this page

RabbitMQのインシデントでは、最初の15分で、その後の1時間をブローカーの修正に使うのか、それともブローカーはそもそも問題ではなかったと気づくことに費やすのかが決まります。以下の手順は、本番環境でRabbitMQを運用してきたオンコールのエンジニアがたどる順序です。まず分類し、次に行動し、インシデントがチームの手に負えなくなったら、推測ではなく証拠を引き継ぎます。

前提として、rabbitmqctlとrabbitmq-diagnosticsを実行できるアカウントで、クラスターのノードまたは管理インターフェースにアクセスできるものとします。アクセスできないなら、それが最初の発見事項です。

0〜2分:RabbitMQは原因なのか、それとも巻き込まれただけなのか

「RabbitMQがダウンした」というアラートの多くは、実際にはアプリケーションがメッセージを受け取れなくなった状態を指しています。その原因は少なくとも4つあり、ブローカーはそのうちの1つにすぎません。何かに手を触れる前に、これをはっきりさせてください。

  • ノードは応答しているか。各ノードに対してrabbitmq-diagnostics pingを実行するか、管理ポートでGET /api/overviewを呼び出します。応答するノードは劣化しているのであってダウンしているわけではなく、この2つは対処が異なります。
  • アプリケーションは接続しているか。rabbitmqctl list_connections name stateを実行します。数十の接続があるはずのサービスからの接続がゼロなら、ブローカーの障害ではなく、クライアント側かネットワークの障害です。
  • 何が変わったか。デプロイ、設定の反映、証明書のローテーション、ノードの再起動、トラフィックの急増。何かの変更の後に起きたインシデントは、たいていその変更が原因です。

2〜5分:ログより先にアラームを確認する

RabbitMQには2種類のリソースアラームがあり、どちらも同じ症状を引き起こします。チームが読み違えるのはそのためです。パブリッシャーはブロックされ、コンシューマーは動き続け、何もクラッシュしません。アプリケーションからはパブリッシュがハングしているように見え、キューの深さは増えなくなり、どのグラフも落ち着いて見えます。

  • メモリアラーム。ノードがメモリのハイウォーターマークを超えると発生します。デフォルトでは、3.xでRAMの40%、4.xで60%です。rabbitmq-diagnostics alarmsで一覧でき、rabbitmq-diagnostics memory_breakdownで、そのメモリがキューの中身、バイナリ、接続、メタデータのどれに使われているかがわかります。
  • ディスクアラーム。データディレクトリの空き容量がdisk_free_limitを下回ると発生します。メッセージストア、クォーラムキューのログ、ノード自身のログファイルが、同じディスクを取り合っています。
  • アラームと障害の見分け方。list_connectionsで、接続がblockedまたはblockingと表示されます。アラームはクラスター全体に及びます。1つのノードでメモリアラームが発生すると、すべてのノードでパブリッシャーがブロックされます。

アラームの解消は、最初の5分間で安全に実行できる唯一の操作です。バックログを消費する、ディスクを追加する、あるいは影響を受けているノードで一時的にウォーターマークを引き上げます。再起動は必要なく、同じ負荷を新しいノードで再現するだけなので、たいていは事態を悪化させます。

5〜8分:クラスターとクォーラムの状態

rabbitmqctl cluster_statusで、クラスターが想定しているノードと、到達可能なノードがわかります。分断が何を意味するかはバージョンによって異なり、その違いは最初の数分で重要になります。

  • 3.xと4.0〜4.2:分断が記録される。出力にpartitionsセクションが含まれます。cluster_partition_handling = pause_minorityの場合、少数派の側は自ら一時停止し、ネットワークが回復するまでそのキューは利用できません。これは設定が機能している状態であって二次障害ではなく、一時停止したノードを再起動しても停止時間は短くなりません。
  • 4.3以降:分断処理の戦略そのものがない。Mnesiaと分断処理のモードは削除されました。メタデータストア、クォーラムキュー、ストリームはすべてRaftベースなので、問題はそれぞれにオンラインの過半数が残っているかどうかだけです。目の前のノードについては、rabbitmq-diagnostics check_if_node_is_quorum_criticalで確認できます。
  • 分断はないが、ノードがダウンしている。過半数が生き残っているクォーラムキューは処理を続けます。失われたノード上にあったクラシックキューは、そのノードが戻るまで利用できません。3.xではミラーリングでカバーできましたが、4.0でミラーリングは削除されました。これはクォーラムキューを採用すべき最大の理由であり、たいていはこの場面で気づくことになります。
  • クォーラムが失われている。rabbitmq-queues quorum_status <queue>で、メンバーとリーダーを確認できます。過半数を失ったクォーラムキューは、十分なメンバーが戻るまで、パブリッシュとACKを保留するか、タイムアウトさせます。焦って削除して作り直さないでください。データは生き残っているメンバーにあります。

8〜12分:キュー、コンシューマー、未ACKの件数

ほとんどは1つのコマンドで把握できます。

rabbitmqctl list_queues name messages_ready messages_unacknowledged consumers

3つの数値を組み合わせると、次の4つのどの状況にあるかがわかります。

  • readyが増え続け、コンシューマーはゼロ。コンシューマー群がダウンしているか、切断されています。ブローカーは役割を果たしており、修正すべきは消費する側です。
  • readyが増え続け、コンシューマーは存在し、未ACKが多い。コンシューマーは受信しているものの、ACKを返していません。各コンシューマーは最大でprefetch数までのメッセージを処理中として抱えるため、prefetchの大きいコンシューマーが止まると、誰も処理していないメッセージが固定されたままになります。サイジングについてはprefetch countの記事を参照し、ハンドラーの中で下流の依存先がタイムアウトしていないかを調べてください。
  • readyが増え続け、コンシューマーは存在し、未ACKはほぼゼロ。単にコンシューマーの処理がプロデューサーより遅いだけです。コンシューマーをスケールさせるか、プロデューサーを抑制してください。ブローカーには何の問題もありません。
  • どの数値も横ばいなのに、パブリッシュが失敗する。アラームの確認に戻ってください。どれかを見落としています。

ついでにrabbitmqctl list_channelsを実行し、接続をもう一度確認すると、チャーンが見えてきます。接続数が数秒ごとに増減しているなら、クライアントがループで再接続を繰り返しているということです。これは症状であると同時に、クライアント群が十分に大きければ原因にもなります。

12〜15分:深刻度を決め、被害の拡大を止める

この時点で、インシデントの全体像が見えています。深刻度を決めて、起こすべき人を起こし、誤った操作が行われないようにします。

  • Sev 1:パブリッシャーがブロックされている、またはクラスターに到達できない。リソースアラーム、クォーラムの喪失、あるいは全ノードのダウンです。ビジネスへの影響は即座に出ます。チームが日常的にRabbitMQを運用していないなら、外部の支援を求めるべきケースです。
  • Sev 2:劣化している。クォーラムを保ったまま1つのノードがダウンしている、4.3より前のクラスターで少数派がpause_minorityによって一時停止している、レプリケーションが遅れている、といった状態です。トラフィックは流れていますが、容量や冗長性が低下しています。
  • Sev 3:クライアント側の問題。コンシューマーのダウン、再接続のループ、遅いハンドラーです。ブローカーは正常で、修正はアプリケーションチームの担当です。

プレッシャーの下でも安全な操作は、バックログの消費や排出、ディスクの追加、ウォーターマークの一時的な引き上げ、コンシューマーのスケール、アプリケーションの再起動です。安全でない操作は、データの消失につながるキューのパージ、キューの唯一の正常なコピーを捨ててしまう可能性があるforce_bootやノードの強制的な削除、そして分断を長引かせる分断中のノードの再起動です。

誰かに連絡する前に用意しておくもの

インシデントをサポートプロバイダーに引き継ぐ場合、最初に求められるものは毎回同じです。プレッシャーの下で集めると10分かかりますが、すでに手元にあれば1分で済みます。

  • ノードごとのrabbitmqctl versionとErlangのバージョン。
  • rabbitmqctl cluster_status、rabbitmq-diagnostics status、rabbitmq-diagnostics alarmsの出力。
  • rabbitmqctl export_definitionsによる定義のエクスポート。メッセージを除く、すべてのキュー、Exchange、バインディング、ポリシー、ユーザーが含まれます。
  • RabbitMQのログディレクトリまたはjournalから取得した、直近1時間分のノードログ。
  • インシデントの前に行われた変更と、それが反映された時刻。

プランに応じた15分からの対応目標が意味すること、意味しないこと

応答の約束とは、専任のエンジニアがその時間内に連絡を取り、作業を開始するという約束です。解決までの時間ではありません。まだ診断していない問題の解決を約束するプロバイダーは、知りようのないことを約束しています。契約で重要なのは、誰が対応するのか、どれだけ早く深刻度が確定するのか、そして最初のエンジニアで解決できない場合にエスカレーションがどう機能するのかです。それがAceMQのRabbitMQサポートの形であり、3.8から4.xまでを対象に、プランに応じた15分からの対応目標を提供しています。上の証拠のリストが、インシデントの当夜に集めるものではなく、オンボーディング時のチェックリストになっているのはそのためです。

インシデントが終わったら、上の15分のうちどこに答えるのに最も時間がかかったかを振り返ってください。次のインシデントで時間を失うのは、まさにそこだからです。ヘルスチェックでは、ありふれたイベントをインシデントに変えてしまったアラームのしきい値、キュータイプ、分断の設定を洗い出します。チェックリストではなく、クラスターに入って作業するエンジニアが必要なケースについては、RabbitMQのトラブルシューティングをご覧ください。

次のインシデントを短くするために

  • 症状ではなく、アラームそのものに対してアラートを設定してください。何をきっかけに呼び出すべきかは、モニタリングとアラートのガイドで解説しています。
  • 重要なワークロードはクォーラムキューに移し、ノードの喪失がSev 1ではなくSev 2で済むようにしてください。
  • 最新の定義のエクスポートを、クラスター以外の場所に保管してください。それと一緒に何を保管すべきかは、ディザスタリカバリーのガイドにまとめています。
  • 10の障害パターンに足元をすくわれる前に、目を通しておいてください。ほとんどのインシデントは、そのどれかに当てはまります。
  • 再起動、フェイルオーバー、パージを誰が承認できるのかを文書にしておき、午前3時にたまたま起きていた人がその判断を下すことのないようにしてください。

よくある質問

RabbitMQがメッセージを配信しなくなったとき、最初に確認すべきことは何ですか?

本当にブローカーが原因なのかどうかです。各ノードに対してrabbitmq-diagnostics pingを実行し、rabbitmqctl list_connectionsを確認します。ブローカーが応答していてクライアントの接続がない場合は、アプリケーションかネットワークの障害であり、修正すべきはそちら側です。ノードに到達できない場合や、接続がblockedと表示される場合に初めて、ブローカーが問題だといえます。

何もクラッシュしていないのに、パブリッシュがハングするのはなぜですか?

ほぼ間違いなくリソースアラームです。ノードがメモリのハイウォーターマークを超えるか、ディスクの空き容量の下限を下回ると、RabbitMQはクラスター全体ですべてのパブリッシャーをブロックしますが、コンシューマーは動き続けます。そのためキューは増えなくなり、グラフは落ち着いて見えます。rabbitmq-diagnostics alarmsで確認できます。解消するには、バックログを消費する、ディスクを追加する、あるいは一時的にウォーターマークを引き上げます。再起動は不要で、たいていは同じ負荷を新しいノードで再現するだけです。

RabbitMQでネットワーク分断が起きると、どのように見えますか?

バージョンによって異なります。3.xと4.0〜4.2では、rabbitmqctl cluster_statusのpartitionsセクションに記録され、cluster_partition_handlingがpause_minorityに設定されていれば、少数派の側はネットワークが回復するまで自ら一時停止します。これは設定が意図どおりに動作している状態であり、一時停止したノードを再起動しても解決しません。4.3以降では分断処理のモードがなくなりました。レプリケートされるものはすべてRaftベースになったため、問題は各クォーラムキューとメタデータストアにオンラインの過半数が残っているかどうかであり、rabbitmq-diagnostics check_if_node_is_quorum_criticalでそれを確認できます。いずれの場合も、復旧の手順はネットワークを修復し、ノードが再参加して追いついたことを確認することです。

RabbitMQのサポートプロバイダーにエスカレーションするとき、何を送ればよいですか?

ノードごとのRabbitMQとErlangのバージョン、rabbitmqctl cluster_status、rabbitmq-diagnostics status、rabbitmq-diagnostics alarmsの出力、rabbitmqctl export_definitionsによる定義のエクスポート、直近1時間分のノードログ、そしてインシデントの前に行われた変更とその時刻です。これがそろっていれば、エンジニアは質問から始めるのではなく、すぐにクラスターの調査に取りかかれます。

プランに応じた15分からの対応目標は、15分でインシデントが解決するという意味ですか?

いいえ。応答の約束とは、専任のエンジニアがその時間内に連絡を取り、作業を開始するという意味です。解決までの時間は何が問題かによって決まり、まだ診断していない問題の解決を約束できるプロバイダーはありません。契約で重要なのは、誰が対応するのか、どれだけ早く深刻度が確定するのか、そして最初のエンジニアで解決できない場合にエスカレーションがどう機能するのかです。

Scott Sternloff

著者

Scott Sternloffシニアエンタープライズアーキテクト

AceMQのシニアエンタープライズアーキテクト。RabbitMQ、Kafka、Redisのアーキテクチャ、クラスタリング、移行といった技術記事を担当しています。

Talk to an engineer

Need a hand with RabbitMQ?

Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.

無料相談

お客様のRabbitMQ クラスターを専門家がチェックします

本番環境のインシデント対応、移行の計画、アーキテクチャのセカンドオピニオンなど、どのようなご相談にもAceMQのチームが対応します。売り込みは一切なく、ご質問に的確にお答えします。

メールで問い合わせる