ブログRabbitMQ

Kubernetes上のRabbitMQクラスターを健全に保つために監視すべき5つのポイント

Scott Sternloff

執筆:Scott Sternloff(シニアエンタープライズアーキテクト)

LinkedIn · 更新日: · 17分で読めます

Kubernetes上のRabbitMQクラスターを健全に保つために監視すべき5つのポイント
On this page

Kubernetes上でRabbitMQを運用することは、ベアメタルでRabbitMQを運用することとは違います。静的な3ノードのVMクラスターで重要な監視シグナルは、必ずしも全体を管理できるとは限らないKubernetesクラスター内で、RabbitMQのStatefulSetが健全かどうかを教えてくれるシグナルと同じではありません。障害モードも異なります。ノードからの退去(eviction)、Podの再スケジュール、マルチテナント環境でのI/O競合、そしてRaftの合意形成とKubernetesのネットワークスタックとの特有の相互作用によって、ベアメタルの運用担当者がまず遭遇しないような障害が起こりえます。

当社はこれまで数多くのインシデントのトラブルシューティングを手がけてきたため、本当に重要なシグナルとノイズの区別ははっきりしています。Kubernetes上のRabbitMQクラスターで監視する項目を5つに絞るなら、この5つを監視してください。金融サービス、SaaSプラットフォーム、高スループットのエンタープライズ環境での当社の経験から言えば、これらは障害が顧客に影響する停止になる前に、それを捉えてくれるメトリクスです。

Kubernetes上のRabbitMQ監視が異なる理由

ベアメタルや専用VM上のRabbitMQクラスターにとって、主な脅威はひとつだけ、つまり自身のワークロードです。一方、Kubernetes上のRabbitMQクラスターには、脅威がいくつもあります。

  • 共有のコンピュートリソース。専用ノードを割り当てていない限り、RabbitMQのPodは、Kubernetesが同じノードにスケジュールする他のあらゆるワークロードと、CPU、メモリ、ディスクI/Oを奪い合います。
  • ネットワークの抽象化レイヤー。Kubernetesのネットワークスタックは、Pod間のレイテンシ、CNIのオーバーヘッド、そしてRaftの合意形成と帯域を分け合わなければならないハートビートのレイヤーを追加します。
  • StatefulSetのセマンティクス。Kubernetes上のRabbitMQはCluster OperatorによってStatefulSetとしてデプロイされますが、StatefulSetのPodはノード障害時に自動では再スケジュールされません。この事実に運用担当者が気づくのは、たいてい最悪のタイミングです。
  • 永続ボリュームとの結び付き。local-pathやノードローカルのストレージを使っている場合、再スケジュールされたPodは以前の状態を復元できないことがあります。ネットワーク接続型ストレージには、それ特有のI/Oのばらつきがあります。

これらはいずれも、専用インフラでは起こりえない種類の障害を生み出します。監視はそのすべてを考慮したものでなければなりません。

1. クォーラムキューにおけるRaftレプリケーションの健全性

クォーラムキューを使っているなら(そして2026年にRabbitMQ 4.xを使っているなら、使うべきです)、Raftレプリケーションの健全性はダッシュボード上で最も重要なメトリクスです。まだ移行していない場合は、クォーラムキューへの移行に関するガイドをご覧ください。クォーラムキューでは、リーダーとフォロワーがRaftの合意形成に参加し、すべてのメッセージを過半数のノードに書き込んでからパブリッシャーに確認応答を返します。Raftが劣化すると、その下流にあるものすべてが一緒に劣化します。

特にKubernetes上では、Raftへの負荷が急速に積み重なります。この合意形成プロトコルには、ノード間の信頼性の高い低レイテンシな通信、安定したディスク書き込み性能、ログエントリを処理するための十分なCPUの余裕が必要です。これらの条件のどれかが厳しくなると(そしてKubernetes上では、ベアメタルよりも頻繁に厳しくなります)、Raftは処理が遅れ始め、キューが応答しなくなっていきます。

実際に監視すべき項目

  • rabbitmq_queue_messagesを、リーダーとフォロワーの状態別に分けて確認します。
  • rabbitmq_raft_log_commit_indexとrabbitmq_raft_log_last_applied。この2つの差がRaftの遅延(ラグ)です。
  • リーダー選出の頻度。健全なクラスターではリーダーが安定しています。リーダーが頻繁に入れ替わっている場合は、上流の何か(ネットワーク、ディスク、CPU)が不健全です。
  • 管理APIによるキューごとのRaftの状態:フォロワーのステータス、スナップショットのインデックス、ディスク使用量。

アラートのしきい値

フォロワーのRaftログがリーダーより数千エントリ以上遅れた状態が30秒を超えて続いたら、アラートを出します。安定しているはずのクラスターで、リーダー選出が1時間に1回を超えて発生したらアラートを出します。そして、いずれかのクォーラムキューがクォーラムを失ったら、即座にアラートを出します。ブローカーはメトリクスでそれを知らせてくれます。数分ではなく数秒以内に把握したいところです。

Kubernetes上でこれがより重要になる理由

Kubernetes上では、Raftが、キューが使えなくなり、標準的な復旧手順もうまく機能しない状態に陥ることが十分にありえます。当社が本番環境で見たパターンのひとつは次のとおりです。クォーラムキューが固まって動かなくなり、ブローカーが削除のための合意を形成できないためrabbitmqctl delete_queueが失敗し、サービスを復旧するには特定の順序でPodを停止して新たなリーダー選出を強制する必要がありました。この状態を顧客からの苦情で知るような事態は避けたいものです。Raftの遅延が上昇していく様子を、10分前に把握しておくべきです。

2. メモリのウォーターマークとフロー制御の状態

RabbitMQには、メモリのハイウォーターマークと呼ばれる保護の仕組みが組み込まれています。ブローカーのメモリ使用量がウォーターマークのしきい値を超えると、RabbitMQはパブリッシャーをブロックし、ノードが完全にメモリ不足に陥るのを防ぎます。これは設計どおりの動作であり、フェイルセーフです。しかしKubernetes上では、ウォーターマークのデフォルト設定が適切でないことがよくあります。

専門家の知見:Kubernetes特有のウォーターマークのチューニング

「Kubernetesでは、ウォーターマークを40%、net tick timeを60にしてテストすべきです。Raftが処理を行うための余裕を多めに残し、さらにネットワーク用の余裕も確保します。RabbitMQのネットワークはノード間の通信だけではありません。Kubernetesのネットワークや、Podのハートビートもあります。リソースを奪い合っているのです。」— Felipe Gutierrez、AceMQ シニアエンジニア

RabbitMQのメモリウォーターマークのデフォルト値0.4(40%)が存在するのは、Kubernetes上では、Podやノードでメモリを使うのがブローカーだけではないからです。Kubernetesのkubelet、CNIプラグイン、コンテナランタイム、そしてサイドカーコンテナはいずれもメモリを消費しており、Raftとブローカーにはそれらに対して余裕が必要です。専用VMでは妥当なウォーターマークでも、Kubernetes上では、Raftの処理とPod間ネットワークのために十分な余裕を残すよう、引き下げる必要があることがよくあります。

実際に監視すべき項目

  • rabbitmq_resident_memory_limit_bytesとrabbitmq_process_resident_memory_bytes。この2つの比率が、現在のウォーターマークの使用率です。
  • rabbitmq_connections_blocked_total。RabbitMQが現在ブロックしているパブリッシャー接続の数です。
  • 接続ごとのフロー制御の状態。プロデューサーがフロー制御に入っている場合は、パイプラインのどこかで負荷の問題が起きています。最初のステップとして、コンシューマーのプリフェッチのチューニングを確認してください。
  • KubernetesのPodのメモリ使用量とPodのメモリ上限の比較。Podの上限に達するとOOMKilledになります。これはRabbitMQのウォーターマークに達するよりもはるかに深刻な障害です。

アラートのしきい値

設定したウォーターマークの80%でアラートを出します。この時点で、パブリッシャーのブロックが目前に迫っています。接続がひとつでもブロックされたら、即座にアラートを出します。そして、KubernetesのPodのメモリ上限の90%でアラートを出します。これが、kubeletがPodを停止する前の最後の警告になります。

3. ディスクI/Oの競合と書き込みレイテンシ

Kubernetesの影響が最も大きく出るのが、このメトリクスです。RabbitMQのクォーラムキューは、設計上ディスクへの負荷が高く、すべての書き込みは確認応答の前にRaftログを経由します。基盤のストレージが遅い、性能がばらつく、あるいは競合していると、システム内のすべてのプロデューサーがその影響を受けます。

Kubernetes上では、当社が繰り返し目にしている特有の障害モードによって、ディスク性能の問題がさらに複雑になります。RabbitMQが、I/O負荷の高い別のワークロード(典型的にはPostgreSQL、Kafka、Elasticsearch)とノードを共有しているケースです。隣のワークロードの負荷が急増すると、RabbitMQのRaftログの書き込みが遅くなり、フォロワーの遅延が拡大し、リーダーが再選出され、運用担当者がすぐには原因を突き止められないまま、クラスターが原因不明の劣化を起こしているように見えます。

専門家の知見:I/O競合のパターン

「同じノードでまだPostgresとリソースを奪い合っているなら、Raftに必要なのはメモリとクォーラムだけではなく、ディスクもだということです。同じタイミングでPostgresの使用量が多ければ、いま皆さんとしているのと同じ議論がまた起きます。両者を分離するか、少なくともRabbitMQのノード数を減らして、リソースを奪い合わないようにすべきです。」— Felipe Gutierrez、AceMQ シニアエンジニア

実際に監視すべき項目

  • rabbitmq_io_write_time_seconds_totalとrabbitmq_io_write_bytes_total。書き込みレイテンシの推移が早期警告になります。
  • ノードレベルのディスク書き込みレイテンシのヒストグラム(Kubernetesのnode_exporterで取得できます)。
  • 同じノード上で、RabbitMQのPodが消費しているIOPSと、それ以外のすべてが消費しているIOPSの比較。
  • ディスクのキューの深さ。これが常に1〜2を上回っているなら、ディスク待ちが発生しています。
  • 永続ボリュームの使用量の増加ペース。クォーラムキューのディスク使用量は、メッセージ量とログの保持期間に応じて増えていきます。

アラートのしきい値

いずれかのRabbitMQノードで、ディスク書き込みレイテンシのp99が50msを超えたらアラートを出します。永続ボリュームの使用率が75%を超えたらアラートを出します。そして、ディスクのキューの深さが1分を超えて2を上回り続けたらアラートを出します。

アーキテクチャ上の推奨事項

可能な限り、ノードのtaintとtolerationを使って、KubernetesのノードをRabbitMQ専用にしてください。I/O負荷の高いステートフルなワークロードは、それぞれ専用のノードプールで実行します。それが難しい場合は、RabbitMQと隣接するワークロードとで、別々の物理ディスク上にある別々の永続ボリュームを使ってください。ディスクを1台追加するコストは、I/O競合による本番環境の停止のコストに比べればごくわずかです。

4. Podのスケジューリング、再起動回数、StatefulSetの挙動

運用担当者の不意を突く、Kubernetes特有の落とし穴があります。RabbitMQは公式のCluster OperatorによってStatefulSetとしてデプロイされますが、StatefulSetのPodは、稼働中のノードに障害が起きても別のノードへ自動では再スケジュールされません。これは設計どおりの動作で、StatefulSetは安定したIDとストレージを提供するためのものです。しかし運用上は、ノードに障害が起きると、そのノードが停止している間ずっとRabbitMQのPodがオフラインになりうることを意味します。

これは理論上の懸念ではありません。当社はこれまで、Kubernetesのノードがダウンし、RabbitMQのStatefulSetのPodが取り残され、アプリケーションが長時間利用できなくなったインシデントにお客様と一緒に対応してきました。原因は、KubernetesがStatefulSetにはそもそも提供していない自動再スケジュールの動作を、運用担当者が期待していたことでした。

実際に監視すべき項目

  • RabbitMQのPodごとの再起動回数を、時系列で追跡します。1日に10回以上再起動しているPodは、何かを訴えています。
  • Podのスケジューリングの状態。具体的には、Pending、Unschedulable、ContainerCreatingのいずれかの状態が60秒を超えて続いているRabbitMQのPodです。
  • RabbitMQのPodをホストしているノードのステータス。NotReadyのノードは、Podの停止に向けたカウントダウンが始まっている状態です。
  • StatefulSetのレディネス。必要なレプリカ数のうち、現在いくつがReadyになっているかを確認します。
  • livenessプローブとreadinessプローブの失敗率。負荷がかかった状態でのプローブの失敗は、たいてい、ブローカーが完全に停止する前の過負荷を示しています。

アラートのしきい値

RabbitMQのStatefulSetのレプリカ数が必要数を下回ったら、即座にアラートを出します。Podが再起動したら、アラートを出します。RabbitMQのPodをホストしているノードがNotReadyになったら、アラートを出します。これらはいずれも対処が必要な状態です。StatefulSetで機能するかどうかわからない自動修復の仕組みに任せるのではなく、人が確認すべきです。

アーキテクチャ上の補足

ノード障害からの自動復旧を、StatefulSetのデフォルトの動作よりも速くする必要がある場合は、いくつかの選択肢があります。PodDisruptionBudgetとノードのドレインの自動化を組み合わせる、ゾーン障害でクラスター全体が停止しないようKubernetesの複数のアベイラビリティゾーンにRabbitMQを分散配置する、あるいは場合によっては、ブローカーをKubernetesの外にある専用VMで完全に切り離して動かす、といった方法です。どれが適切かは、目標復旧時間(RTO)とKubernetesの運用成熟度によって決まります。

5. ネットワークのハートビートとノード間のレイテンシ

RabbitMQのノードは、分散Erlangによって相互に通信しており、その通信の健全性が、クラスターがクラスターとして成り立ち続けるかどうかを左右します。Kubernetes上では、ネットワークレイヤーがレイテンシのばらつきを増やし、誤検知によるノード障害を引き起こすことがあります。実際にはKubernetesのCNIが一時的に遅くなっただけなのに、ハートビートが時間枠内に届かなかったために、ブローカーがピアがダウンしたと判断してしまうのです。

Erlangのnet_ticktimeのデフォルト値60秒は、Kubernetes環境、特にオーバーレイネットワークやゾーンをまたぐトラフィックがある環境では、厳しすぎることがよくあります。これのチューニングは、Kubernetes上のRabbitMQクラスターを本番向けにハードニングする際に、当社が最初に行う作業のひとつです。

実際に監視すべき項目

  • ネットワークパーティションのイベント。RabbitMQはこれをログに記録します。即座にアラートを出すべきです。
  • RabbitMQのPod間のレイテンシ(シンプルなpingのサイドカーやサービスメッシュのメトリクスで測定できます)。
  • Erlangのディストリビューションバッファの使用率。rabbitmq_erlang_distribution_buffer_busyで、ノード間の通信が滞り始めたタイミングがわかります。
  • ノードレベルでのTCP接続の状態の分布。TIME_WAITやCLOSE_WAITの接続が増え続けている場合は、ネットワークの問題が進行しつつある可能性があります。
  • 利用できる場合はCNIレベルのメトリクス(Calico、Ciliumなど)。RabbitMQのPod間でのパケットドロップは、問題の前兆です。

アラートのしきい値

ネットワークパーティションのイベントが発生したら、アラートを出します。RabbitMQのPod間のレイテンシのp99が10msを超えたら、アラートを出します。Erlangのディストリビューションバッファの使用率が50%を超えたら、アラートを出します。

チューニングの推奨事項

Kubernetes上では、基本設定としてnet_ticktimeをデフォルトの60秒から120秒に引き上げてください。これによりCNIレイヤーに余裕が生まれ、通常のネットワークのジッターによって誤検知されるクラスターパーティションのイベントが大幅に減ります。ティックタイムを長くすると、本当に障害が起きたノードの検出がわずかに遅くなりますが、Kubernetes環境ではこのトレードオフは圧倒的に安定性に有利に働きます。

まとめ:アラート設計の考え方

この5つの領域を監視する目的は、アラートを増やすことではなく、適切なアラートを設定することです。当社の経験では、呼び出される回数が最も少ない運用担当者は、監視項目が最も少ない人ではなく、適切な項目を適切なしきい値で監視している人です。

Kubernetes上のRabbitMQクラスターにおける、妥当なレベル分けは次のとおりです。

  • P1(即時呼び出し):いずれかのキューでクォーラムが失われた。ノードがNotReadyになった。StatefulSetのレプリカ数が必要数を下回った。パブリッシャー接続がブロックされた。ネットワークパーティションが検出された。
  • P2(営業時間内に呼び出し):Raftのフォロワーの遅延が継続的に拡大している。メモリのウォーターマークが80%を超えた。ディスクレイテンシのp99が50msを超えた。Podが再起動した。リーダー選出が頻繁に入れ替わっている。
  • P3(ダッシュボードのみ、毎週確認):キャパシティの傾向。ディスク使用量の増加ペース。接続数の増加。キューの深さの増加。

それ以外はすべてノイズです。P1にもP2にも当てはまらない事象でオンコール担当者が呼び出されているなら、アラートが本当に重要なものとずれています。

実践のポイント

Kubernetesは、RabbitMQにとって優れたプラットフォームです。ただし、Kubernetesによって変わる点を監視していれば、という条件付きです。ベアメタルの監視の考え方は、そのままでは通用しません。上の5つのメトリクスのカテゴリは、当社がサポートするKubernetes上のRabbitMQのすべての案件で監視しているものであり、Kubernetes上でRabbitMQを運用するすべてのチームに、初日から計測することをお勧めしているものです。

Kubernetes上のRabbitMQクラスターを引き継ぎ、その監視体制をすばやく評価したい場合は、次の5点を順に確認してください。

  • Raftレプリケーションの健全性がキューごとに可視化されているか。されていなければ、クォーラムについて何も見えないまま運用していることになります。
  • メモリのウォーターマークがKubernetes向けに設定されているか(0.8よりも0.4に近い値か)。そうでなければ、トラフィックが一度急増しただけでパブリッシャーがブロックされかねません。
  • RabbitMQのノードごとのディスクレイテンシが監視され、アラートが設定されているか。されていなければ、I/O競合が起きたときに診断できません。
  • StatefulSetのレプリカ数とPodのスケジューリングの状態にアラートが設定されているか。されていなければ、ノード障害に不意を突かれることになります。
  • net_ticktimeがお客様のKubernetes環境に合わせてチューニングされているか。デフォルトのままなら、誤検知によるパーティションが発生しています。

このうち2つ以上に「いいえ」と答えたクラスターは、あとひとつ運用インシデントが起きれば、なぜ答えが「はい」でなければならなかったのかを思い知ることになります。

SRE向けRabbitMQ監視チェックリスト

この記事で1つのセクションだけ読むなら、ここを読んでください。ここまでの内容は、それぞれのシグナルがなぜ重要なのかを説明するものでした。こちらは、ランブックにそのまま載せるリストです。rabbitmq_prometheusプラグイン(3.8以降は標準搭載)を有効にし、すべてのノードをスクレイプし、公式のGrafanaダッシュボードをインポートします。そのうえで、4つのグループのメトリクスを監視します。

クラスター。すべてのノードがメトリクスを報告していること(各スクレイプ対象でup)、パーティションがないこと(管理APIのヘルスチェックまたはrabbitmqctl cluster_status。上のネットワークパーティションのセクションを参照)、クォーラムキューでRaftのリーダーが安定していること(rabbitmq_raft_term_totalは横ばいであるべきで、termが上昇している場合は選出が起きています)、そして2つのリソースアラームがいずれも解除されていること(rabbitmq_alarms_memory_used_watermarkとrabbitmq_alarms_free_disk_space_watermarkは0であるべきです)。生の余裕量も追跡します。rabbitmq_disk_space_available_bytes、そしてrabbitmq_resident_memory_limit_bytesに対するrabbitmq_process_resident_memory_bytesです。

キュー。深さ(rabbitmq_queue_messages_ready)、未確認応答のメッセージ(rabbitmq_queue_messages_unacked)、コンシューマー数(rabbitmq_queue_consumers)とコンシューマーの利用率(rabbitmq_queue_consumer_utilisation。値が低い場合はコンシューマーがブローカーを待って遊んでおり、1に近い場合はブローカーがコンシューマーを待っています)、再配信レート(rabbitmq_queue_messages_redelivered_total)、そしてデッドレターのレートです。深さ自体は問題ではありません。問題なのは、コンシューマー数が一定のまま深さが増え続けることです。

スループットとレイテンシ。パブリッシュレートと配信レート(rabbitmq_queue_messages_published_totalとrabbitmq_queue_messages_delivered_totalを一定の時間枠でrate計算したもの)、そしてパブリッシャーconfirmのレイテンシです。ブローカーはconfirmのレイテンシを直接エクスポートしないため、パブリッシュ側のアプリケーションで測定するか、カナリアのパブリッシャーを使って測定します。パブリッシュレートと配信レートの差が縮まらないことは、得られる中で最も早いキャパシティのシグナルです。

プラットフォーム。Podの再起動(RabbitMQのStatefulSetに対するkube_pod_container_status_restarts_total)、ストレージクラスまたはnode exporterから取得する永続ボリュームのレイテンシ、そしてCPUスロットリング(container_cpu_cfs_periods_totalに対するcontainer_cpu_cfs_throttled_periods_total)です。ブローカーのPodで数パーセントを超えるスロットリングが起きていると、RabbitMQ自体に異常が見えるずっと前に、confirmのレイテンシとして現れます。その仕組みは、上のPodのスケジューリングとディスクI/Oのセクションで解説しています。

当社が必須と考える8つのアラートと、その初期しきい値を以下に示します。ワークロードに合わせて調整してください。大切なのは、呼び出しの前に警告を受け取れるようにすることです。

メトリクス警告呼び出し
ノードのダウン(up == 0)1ノードが2分間2ノード以上、または1ノードが10分間
ネットワークパーティションの検出発生した時点で即座に5分間続いた場合
rabbitmq_raft_term_totalのレート10分間に1回を超える選出10分間に3回を超える選出
rabbitmq_alarms_memory_used_watermarkメモリが上限の70%を超えたアラームが発生(パブリッシャーがブロック)
rabbitmq_disk_space_available_bytes空き容量が20%未満ディスク空き容量の下限値の2倍未満
rabbitmq_queue_messages_ready15分間増加し続けている合意済みの最大深さを5分間超えている
rabbitmq_queue_consumer_utilisation10分間0.6未満0.3未満で、深さが増加している
Podの再起動1時間に1回1時間に3回、またはCrashLoopBackOff

この表でカバーしていない点が2つあります。1つ目に、コンシューマー数が横ばいのまま未確認応答のメッセージが増えている場合は、たいていコンシューマーがハングしているか、プリフェッチが大きすぎます。これはグローバルにではなく、重要なキューごとにアラートを設定してください。2つ目に、デッドレターのレートはワークロードによって異なるため、固定値ではなく、ベースラインからの変化に対してアラートを設定してください。

警告レベルは日中に誰かが確認するチャンネルに、呼び出しレベルはオンコール担当者に通知するよう設定します。クラスターをゼロから構築する場合は、当社のKubernetesデプロイのプレイブックで、これらのアラートの大半を鳴らさずに済むリソースリクエスト、ストレージクラス、アンチアフィニティのルールを解説しています。それでもアラートが鳴った場合は、トラブルシューティングガイドで症状ごとの対処法を確認できます。

Kubernetes上のRabbitMQクラスターのハードニングでお困りですか?

AceMQは、金融サービス、SaaS、ヘルスケア、そしてFortune 1000企業の業務を担うエンタープライズのお客様向けに、Kubernetes上の本番RabbitMQを運用しています。監視スタックを構築し、Kubernetes特有の障害モードに合わせてブローカーをチューニングし、フェイルオーバー手順を検証したうえで、本番稼働後も継続契約で伴走し、起きてほしくないインシデントにも対応します。

Kubernetes上のRabbitMQの安定性にお困りのチームや、新規のKubernetesデプロイを計画中で、最初から監視を正しく設計したいチームは、RabbitMQヘルスアセスメントについて当社チームにご相談ください。現在の監視体制を監査し、不足している点を特定し、それを解消するための計画を作成します。RabbitMQの商用サポートやRabbitMQコンサルティングが必要な場合も、まさに当社の専門分野です。

よくある質問

SREはRabbitMQクラスターをどのように監視すればよいですか?

すべてのノードでrabbitmq_prometheusプラグインを有効にし、kube-state-metricsやcAdvisorとあわせてスクレイプし、公式のGrafanaダッシュボードをインポートします。アラートは4つのグループに分けて設定します。クラスターの健全性(ノードの稼働、パーティション、Raftのterm変化、メモリとディスクのアラーム)、キューの健全性(ready、unacked、コンシューマー数と利用率、再配信)、スループット(パブリッシュレートと配信レートの比較、パブリッシャー側で測定したconfirmのレイテンシ)、プラットフォームの健全性(Podの再起動、PVのレイテンシ、CPUスロットリング)です。チャンネルに通知する警告レベルと、オンコール担当者を呼び出すレベルを分けて運用してください。当社が必須と考える8つのアラートについては、上の表に初期しきい値を示しています。

RabbitMQでキャパシティ不足を示すメトリクスはどれですか?

最も早く現れる兆候は、パブリッシュレートが配信レートを継続的に上回ることです。次に、rabbitmq_queue_consumersが横ばいのままrabbitmq_queue_messages_readyが増えていく状態で、これはコンシューマーを増やすか高速化する必要があることを意味します。rabbitmq_queue_consumer_utilisationが1に近ければコンシューマーがボトルネックで、0に近ければブローカーがボトルネックです。ブローカー側では、常駐メモリがrabbitmq_resident_memory_limit_bytesに近づいている、rabbitmq_disk_space_available_bytesが減っている、PodでCPUスロットリングが起きている、といった兆候はいずれもノードのリソース不足を示しています。メモリやディスクのアラームが発生している場合は、すでにキャパシティが尽きており、パブリッシャーがブロックされています。

RabbitMQクラスターが不安定になる原因は何ですか?

当社の経験では、原因はおおむね次の順に多く見られます。ノードへの負荷やPodDisruptionBudgetの設定ミスによるネットワークパーティション、深いキューや上限のない接続数によるメモリアラーム、共有の永続ボリュームでのディスク競合(Raftの書き込みが遅くなり、リーダー選出が発生するほどになる)、ボリュームが追従できないノードへのStatefulSet Podの再スケジュール、ローリングアップグレード中のノード間のバージョンのずれです。これらのほとんどは、まずrabbitmq_raft_term_totalの上昇かPodの再起動として現れます。そのため、この2つのアラートを表の最上段に置いています。それぞれの原因については、上の各セクションで解説しています。

RabbitMQの監視に商用ツールは必要ですか?

必要ありません。rabbitmq_prometheusプラグイン、Prometheus、公式のGrafanaダッシュボードは無料で、保守もしっかりしており、大規模な環境を含めほとんどの環境で十分に機能します。ただし、これらのツールは、午前3時にダッシュボードを読み解き、3つのアラートが同時に鳴ったときに8つのうちどれが本当の問題かを見極め、お客様のバージョンで同じ問題を解決した経験を持つ人材までは提供してくれません。それを補うのがサポート契約です。当社は3.8.xから4.xまでを対象に、プランに応じた15分からの対応目標を設けています。価値があるのはダッシュボードではなく、対応そのものです。監視の仕組みはお客様ご自身のものを使い続け、分析と修正の場面で当社をお呼びください。

監視は、Operator、ストレージ、ネットワーク、リクエストとリミット、ローリングアップデートを順に取り上げるKubernetes上のRabbitMQガイドの全8ステップのうち、ステップ6にあたります。

Scott Sternloff

著者

Scott Sternloffシニアエンタープライズアーキテクト

AceMQのシニアエンタープライズアーキテクト。RabbitMQ、Kafka、Redisのアーキテクチャ、クラスタリング、移行といった技術記事を担当しています。

Talk to an engineer

Need a hand with RabbitMQ?

Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.

無料相談

お客様のRabbitMQ クラスターを専門家がチェックします

本番環境のインシデント対応、移行の計画、アーキテクチャのセカンドオピニオンなど、どのようなご相談にもAceMQのチームが対応します。売り込みは一切なく、ご質問に的確にお答えします。

メールで問い合わせる