RabbitMQ

RabbitMQをKubernetes/OpenShiftで運用する:デプロイのプレイブック

Scott Sternloff

執筆:Scott Sternloff(シニアエンタープライズアーキテクト)

LinkedIn · 更新日:

K8sStatefulSet · 3 ReplicasKubernetes & OpenShift
このページの内容
RabbitMQをKubernetesやOpenShiftで運用するケースは増えており、Kubernetesが複雑さを引き受けてくれるはずだと考えるチームにとって、運用上の想定外の事態の原因になることも増えています。実際には、そうはなりません。少なくとも、RabbitMQのクォーラムの仕組みがKubernetesのPodのライフサイクル管理とどう関わり合うのかを理解していなければ、そうはならないのです。
このガイドでは、主要なデプロイパターン、本番インシデントの原因となる具体的な落とし穴、そして安定して運用できるようにKubernetes上のRabbitMQのデプロイを構成する方法を解説します。

KubernetesにRabbitMQをデプロイするには?

標準的な方法は、Broadcomが保守している公式のKubernetesオペレーターであるRabbitMQ Cluster Operatorを使うことです。このオペレーターは次のことを担います。
  • 適切なPod名と安定したネットワークIDを持つStatefulSetとしてRabbitMQをデプロイ
  • クラスターの各ノードのデータストレージ用のPersistentVolumeClaim(PVC)を管理
  • クラスターのメンバーシップ、ノードの検出、Erlang cookieを処理
  • 宣言的にクラスターを構成するためのRabbitmqClusterカスタムリソースを提供
OpenShiftでも、SCC(Security Context Constraint)の設定を追加すれば同じオペレーターが動作します。AceMQは、RKE2、AKS、ACK、その他のマネージドKubernetesでのデプロイもサポートしています。
クラスターの最小構成:3ノードで、それぞれを別々のKubernetesワーカーノードに配置します(Podのアンチアフィニティルールで強制します)。同じワーカーノードで2つのRabbitMQ Podを動かすと、高可用性の意味がなくなります。

終了猶予期間とは何か、なぜ重要なのか?

RabbitMQ Cluster Operatorにはpre-stopフックが含まれており、デフォルトの終了猶予期間は604,800秒(1週間)です。これは誤りではなく、安全のための仕組みです。
RabbitMQのPodが停止する前に、pre-stopフックは、そのPodがリーダーを務めているキューの中にクォーラムクリティカルな状態のものがないかを確認します。クォーラムクリティカルとは、そのPodが停止すると1つ以上のキューがクォーラムを下回る状態のことです。この条件に当てはまる場合、クォーラムが回復するまでPodは終了を拒否します。

「pre-stopフックが何をしているかというと、Podの終了を許可する前に、クォーラムクリティカルな状態のキューが1つもないことを確認しているのです。クォーラムを守っているわけです。ところが、レプリカを3から0にすると、デッドロックが起きます。Podを1つ停止するとクォーラムがクリティカルになり、それがそのPodの終了を妨げ、それがクラスターの停止を妨げるからです。」

— Scott Sternloff、AceMQ プリンシパルアーキテクト、Adeptiaとのセッションにて、2026年4月

KubernetesでRabbitMQクラスターを安全にゼロまでスケールダウンするには?

ゼロまで安全にスケールダウンするには、2つのステップを同時にではなく、順番に実行する必要があります。
ステップ1:終了猶予期間を30秒に短縮します。
kubectl patch rabbitmqcluster <cluster-name> -n <namespace> \
  --type merge \
  -p '{"spec": {"terminationGracePeriodSeconds": 30}}'
ステップ2:その変更が反映された後で、レプリカ数をゼロにします。
kubectl patch rabbitmqcluster <cluster-name> -n <namespace> \
  --type merge \
  -p '{"spec": {"replicas": 0}}'
クラスターを再び起動するときは、猶予期間をデフォルトに戻します。
kubectl patch rabbitmqcluster <cluster-name> -n <namespace> \
  --type merge \
  -p '{"spec": {"replicas": 3, "terminationGracePeriodSeconds": 604800}}'

クラスターのアップグレード中にKubernetesのノードがドレインされると何が起きるか?

Kubernetesクラスターのアップグレードでノードがドレインされると、そのノード上のPodは終了されます。ドレインされるノードでRabbitMQのPodが動いていて、そのキューがクォーラムクリティカルな状態にあると、PodはTerminatingの状態のまま止まってしまいます。その結果、ノードのドレインが止まり、アップグレードが止まり、手作業での介入が必要になります。

「御社のお客様は、クラスターをアップグレードする自動化されたプロセスをお持ちです。一度に1つのノードが停止します。そして、そのノードで動いているRabbitMQのPodは、クォーラムの保護のために終了を拒否するので、ノードのドレインを許しません。こうしてアップグレードのプロセスが止まってしまうのです。」

— Scott Sternloff、AceMQ プリンシパルアーキテクト、Adeptiaとのセッションにて、2026年4月

解決策:
  1. 自動アップグレードのウィンドウの前にデフォルトの終了猶予期間を短縮し、終了後に元に戻す
  2. ウォッチドッグタイマーを設定する:SIGTERMを受け取ってからN秒以内にPodが終了しなければ、強制削除する(慎重に使用すること)
  3. PodDisruptionBudget(PDB)を使う:同時に利用不可になるPodを最大1つに制限するPDBを設定すれば、ノードのドレイン中もKubernetesがクォーラムの制約を守るようになる

プランに応じた15分からの対応目標。専任のシニアエンジニアが担当。

お問い合わせ

KubernetesのRabbitMQ Podで絶対にやってはいけないことは?

クォーラムへの影響を理解しないまま、RabbitMQのPodを強制削除しないでください。強制削除(kubectl delete pod --force --grace-period=0)は、pre-stopフックを完全に迂回します。強制削除されるPodがいずれかのキューのクォーラムリーダーであれば、それらのキューは即座にクォーラムを失います。
同じKubernetesノードで2つのRabbitMQ Podを動かさないでください。本来はアンチアフィニティルールによって自動的に防がれるはずですが、アンチアフィニティの設定が正しく行われているかを確認してください。
クォーラムの健全性を先に確認せずに、レプリカを3からそれより少ない数にスケールダウンしないでください。
kubectl exec -n <namespace> <rabbitmq-pod> -- rabbitmq-diagnostics check_running
kubectl exec -n <namespace> <rabbitmq-pod> -- rabbitmq-queues check_if_node_is_quorum_critical
クォーラムクリティカルと報告されるキューがあれば、回復するのを待ってからスケールダウンを進めてください。

ストレージと監視の考慮事項

RabbitMQの各PodにはPersistentVolumeClaimが必要です。本番環境では次の点に注意してください。
  • volumeBindingMode: WaitForFirstConsumerを指定したStorageClassを使い、Podとそのボリュームが同じアベイラビリティゾーンに配置されるようにする
  • SSDまたはNVMeのストレージを強く推奨します。クォーラムキューのWALの書き込みはレイテンシの影響を受けやすいためです
  • Podを削除してもデータが残るように、PVCの保持ポリシーをRetainに設定する
  • RabbitMQのデータボリュームには共有ストレージ(NFSや共有ファイルシステム)を使わない
Kubernetes環境のデプロイで追跡すべき主なメトリクスは次のとおりです。
  • rabbitmq_quorum_queue_stat_voters — ノード間でクォーラムが維持されているかを確認
  • Podの再起動回数 — 頻繁な再起動は、クォーラムやリソースの問題を示す
  • PVCの容量 — 各PodのPVCのディスク使用率を監視
  • rabbitmq_node_disk_free — ディスクアラームが発動する前にアラートを出す
新規のデプロイを計画している場合、既存のクラスターをKubernetesに移行する場合、あるいはアップグレードに関連する問題に対処している場合は、デプロイのアーキテクチャや実作業のサポートについてAceMQのサポートにお問い合わせください。

こうしたデプロイでは、ベースイメージがサプライチェーンの問題として繰り返し話題になります。Bitnamiイメージのセキュリティとエンタープライズ向けの代替手段をご覧ください。

RabbitMQをKubernetesで動かすか、仮想マシンで動かすか:判断の基準

RabbitMQはどちらでも問題なく動きます。決め手になるのは、誰がプラットフォームを運用するのか、そしてその下のストレージがどうなっているのかです。

  • 誰が運用するのか。プラットフォームチームがすでにKubernetes上でステートフルなワークロードを運用していて、オペレーター、PodDisruptionBudget、StatefulSetのアップグレードが日常業務になっているなら、RabbitMQはStatefulSetが1つ増えるだけです。インフラチームがVMの運用に長けていて、Kubernetesはステートレスなアプリケーションの置き場所にすぎないなら、ブローカーをそこに置くことは、メッセージングチームが本番システムの上でKubernetesの障害パターンを学ぶことを意味します。
  • ストレージ。クォーラムキューとストリームは、書き込みのバッチごとにfsyncを行います。ローカルのNVMeを持つVMなら、これは1ミリ秒未満です。Kubernetesのデフォルトはネットワーク接続のPersistentVolumeで、fsyncのたびにストレージネットワークを経由します。クラウドのブロックストレージでは、fsyncあたり通常2〜5 msかかり、それがクォーラムキューのパブリッシャーコンファームのレイテンシとして直接現れます。ローカルPVのプロビジョナーもありますが、Podが特定のノードに固定されます。クォーラムキューがクラシックキューよりもこの点を気にする理由は、クラシックキューとクォーラムキューの比較で解説しています。
  • アップグレード。KubernetesはStatefulSetのローリング再起動を1Podずつ行い、オペレーターは各ステップの前にクォーラムを待ちます。VMでは、自分のスケジュールで1ノードずつインプレースでアップグレードします。Kubernetesのほうが自動化されていますが、前提が崩れていたときの許容度は低くなります。
  • 障害ドメイン。Kubernetesでは、ノードはドレインされ、Podは退避させられ、オートスケーラーは断りなくキャパシティを回収します。日常的なドレインとクォーラムの喪失を隔てているのは、PDBとPodのアンチアフィニティだけです。VMが障害を起こす頻度は低く、そのタイミングも自分で管理できますが、障害時のダメージは大きく、ブローカーを別の場所で再起動してくれるスケジューラーもありません。
  • ネットワーク。Podは、ヘッドレスServiceからホスト名を受け取り、再起動のたびに変わるIPアドレスを持ちます。クライアントはServiceやIngressを経由して接続し、確実に再接続できなければなりません。再接続は必ず起きるからです。ブローカーのIPアドレスに依存しているものは、すべて壊れます。VMではホスト名が何年も変わらないため、クライアントの再接続のバグは隠れたままになります。
  • ライセンス。商用ディストリビューションであるTanzu RabbitMQは、まずKubernetes向けにパッケージ化されており、VMイメージも用意されています。オープンソースのRabbitMQはどこでも動きます。

当社の推奨は次のとおりです。チームが小規模で、レイテンシに敏感なクォーラムキューのワークロードが中心ならVM。プラットフォームチームがあり、オペレーターを使っていて、環境の他の部分がすでにKubernetes上にあるならKubernetes。当社の案件ではおおよそ半々に分かれており、うまくいかないKubernetesのデプロイは、ほぼ例外なく、誰かがステートフルなワークロードを運用する準備ができていたからではなく、Kubernetesが手元にあったから採用されたものです。

オペレーター、Helmチャート、手作りのStatefulSet

RabbitMQ Cluster Kubernetes Operatorは、アップストリームで保守されている選択肢で、当社が標準として使うものです。RabbitmqClusterリソースを宣言すると、オペレーターがStatefulSet、ピア検出用のヘッドレスService、クライアント用のService、Erlang cookieとデフォルトユーザーのSecret、そしてサーバーの設定を作成します。ノードを停止する前にクォーラム+1を待つpreStopフックでローリング再起動を処理し、指定したSecretからTLSを構成します。PodDisruptionBudgetは自動では作成しないため、maxUnavailable: 1を指定したものを追加してください。あわせてMessaging Topology Operatorを使うと、ユーザー、vhost、権限、キュー、エクスチェンジ、バインディング、ポリシー、Shovel、FederationのアップストリームがCRDになり、トポロジーをクラスターの定義と並べてGitで管理できます。

本番環境を想定した最小構成のクラスターは次のとおりです。

apiVersion: rabbitmq.com/v1beta1
kind: RabbitmqCluster
metadata:
  name: orders
spec:
  replicas: 3
  resources:
    requests:
      cpu: "2"
      memory: 8Gi
    limits:
      cpu: "2"
      memory: 8Gi
  persistence:
    storageClassName: fast-ssd
    storage: 100Gi
  rabbitmq:
    additionalConfig: |
      cluster_partition_handling = pause_minority
      vm_memory_high_watermark.relative = 0.6
      disk_free_limit.absolute = 5GB

RabbitMQ 4.3以降では、cluster_partition_handlingの行を削除してください。4.3.0でパーティション処理の戦略が廃止され、このキーは効果を持たなくなりました。requestsとlimitsは同じ値にしてください。オペレーターはPodのメモリ設定からRabbitMQのメモリのオーバーライド値を導き出すため、ハイウォーターマークとcgroupの上限が一致します。spec.affinityを追加して、ノード間(ゾーンがあればゾーン間)でPodのアンチアフィニティを設定してください。

  • コミュニティのHelmチャートは、StatefulSetに加えてService、設定、Secretを1回のhelm installでテンプレート化します。クラスターを立ち上げるには十分です。しかし、インストール後は何もしません。クォーラムを待つ順序立てたローリングアップグレードもなければ、トポロジーの管理もなく、helm upgradeのたびにStatefulSetを書き換えて、あとはうまくいくことを祈るだけです。すべてをHelmで標準化しているなら、オペレーターを動かし、代わりにRabbitmqClusterリソースをチャートで管理してください。
  • 手作りのStatefulSetに正当性があるのは、次の2つの場合です。CRDやクラスタースコープのオペレーターのインストールが許可されていないクラスター、あるいは他のステートフルなシステム向けに堅牢化したStatefulSetのパターンをすでに持っていて、RabbitMQもそれに合わせたいチームです。その場合、上で挙げたことをすべて自分で引き受けることになります。ピア検出の設定、preStopのドレインフック、プローブのチューニング、Secretのローテーション、そしてアップグレードの段取りです。当社が引き継ぐ案件でよく見るバグは、2つのPodを同時に再起動してしまったアップグレードです。

当社に依頼が来るKubernetesの障害パターン

  • ドレインでクォーラムリーダーが落ち、それをPDBが許してしまった。症状:日常的なノードのアップグレード中に、パブリッシャーがコンファームの待ちで10〜30秒ブロックされる、あるいは3つのレプリカのうち2つが停止しているため、キューにリーダーがいないと報告される。原因:PDBがない、または複数のPodが利用不可になることを許すPDBと、クォーラムキューがリーダーを再選出して追いつくよりも速くノードをドレインするクラスターアップグレードの組み合わせ。対策:maxUnavailable: 1を指定したPDB、レプリカが同じノードに同居しないようにするPodのアンチアフィニティ、そしてドレインが待機するようにするオペレーターのpreStopフック(または独自のrabbitmq-upgrade await_online_quorum_plus_one)。
  • ノード障害後のPVの再アタッチ。症状:ノードが停止した後、そのノードにあったRabbitMQのPodが、Multi-Attachエラーやボリュームのノードアフィニティの競合により、6分以上ContainerCreatingのまま止まる。原因:ゾーンに縛られたブロックストレージは自身のゾーンでしかアタッチできず、停止したノードのアタッチは、ノードコントローラーがそのノードを見限るまで解放されない。対策:アンチアフィニティでレプリカを分散させていれば、クラスターは3つのうち2つのレプリカで稼働し続けるので、無理に抵抗しないこと。WaitForFirstConsumerのストレージクラスを使ってボリュームがPodのゾーンに配置されるようにし、再アタッチの時間はネットワークストレージの既知のコストとして受け入れる。
  • フロー制御の前にOOM Killされる。症状:Podが終了コード137で再起動し、ログにはRabbitMQのエラーがなく、メモリアラームも一度も発動していない。原因:コンテナのメモリ上限が、ハイウォーターマークが作動する点よりも下にある。RabbitMQがcgroupの上限ではなくホストのメモリを読み取ったか、ウォーターマークがErlang VMのアロケーターやバイナリヒープのための余裕を残していないためである。対策:requestsとlimitsを同じ値にし、上限より20〜30パーセント下に余裕を残すウォーターマークを設定し、rabbitmq-diagnostics memory_breakdownで、RabbitMQが認識している合計がPodと一致していることを確認する。
  • 回復中にLiveness Probeによって再起動される。症状:異常終了後の再起動で、大きなキューを持つノードがCrashLoopBackOffに陥り、試行のたびにインデックスの再構築が少しずつ進むものの、kubeletに強制終了されてしまう。原因:ノードがMnesiaやKhepriをリプレイしてキューのインデックスを再構築している間に、rabbitmq-diagnostics check_runningなどを実行するLiveness Probeが失敗する。大きなノードでは、この処理にプローブの失敗しきい値より長い時間がかかる。対策:failureThresholdに十分な余裕を持たせたStartup Probe、ポート5672だけを見るReadiness Probe、そして攻撃的なLiveness Probeは一切設定しないこと。オペレーターがLiveness Probeなしで提供されているのは、まさにこの理由からである。
  • DNSやヘッドレスServiceの変更でピア検出が壊れた。症状:Podは起動するが、それぞれが1台だけのクラスターを形成する、あるいはデータディレクトリが別の名前のノードのものであるため起動を拒否する。原因:ノード名はPodのホスト名とヘッドレスServiceから導き出されるため、Service、Namespace、クラスターのDNSドメインの名前を変更すると、すべてのノード名が変わり、ディスク上のデータが孤立する。対策:名前を変更しないこと。どうしても変更が避けられない場合は、新しいクラスターへの移行として扱う。定義をエクスポートし、キューをShovelで移すかドレインし、クライアントを切り替える。

メッセージングをKubernetesに載せたときに壊れるものの全体像については、Kubernetes上のメッセージングで壊れるものをご覧ください。こうした問題をチケットではなくアラートとして受け取るために何を監視すべきかについては、KubernetesでのRabbitMQの監視をご覧ください。これらを以前に解決した経験のある人に任せたい場合は、当社のKubernetesとコンテナのコンサルティングとRabbitMQサポートをご覧ください。

Kubernetesが適切な置き場所かどうか、オペレーター、ストレージクラス、ネットワークポリシー、requestsとlimits、監視、ローリングアップデートまでの一連の流れは、RabbitMQ on Kubernetesガイドで解説しています。

よくある質問

RabbitMQはKubernetesと仮想マシンのどちらで動かすべきですか?

どちらでも動きます。チームが小規模で、ワークロードがパブリッシャーコンファームのレイテンシに厳しいクォーラムキューやストリームに大きく依存しており、まだKubernetes上でステートフルなワークロードを運用していないなら、VMで動かしてください。プラットフォームチームがあり、Cluster Operatorを使っていて、RabbitMQとやり取りするアプリケーションがすでにKubernetes上にあるなら、Kubernetesで動かしてください。問題になるのはストレージです。ネットワーク接続のボリュームはfsyncのたびに数ミリ秒を上乗せし、クォーラムキューは絶えずfsyncを行います。当社はお客様のためにどちらの構成も運用しています。どちらもそれ自体が間違いではありません。間違いなのは、運用できる人が誰もいないのにKubernetesを選ぶことです。

RabbitMQのKubernetesオペレーターはどれを使うべきですか?

RabbitMQチームがアップストリームで保守しているRabbitMQ Cluster Kubernetes Operatorを、Messaging Topology Operatorと組み合わせて使います。Cluster OperatorはRabbitmqClusterリソースを管理します。StatefulSet、Service、Secret、設定、TLS、そしてクォーラムを考慮したローリング再起動です。Topology Operatorは、ユーザー、vhost、キュー、エクスチェンジ、バインディング、ポリシーをKubernetesのリソースとして管理するため、トポロジーをGitで管理できます。PodDisruptionBudgetは自分で追加してください。Helmチャートは最初のインストールには十分ですが、その後は何も管理しません。手作りのStatefulSetが意味を持つのは、CRDが許可されていない環境だけです。

RabbitMQはOpenShift上で問題なく動きますか?

はい。当社はEKS、AKS、GKEと並んで、OpenShift上でもエンタープライズのお客様のためにRabbitMQを運用しています。Cluster OperatorはOperatorHubからインストールでき、Podのセキュリティコンテキストをオペレーターに設定させずOpenShiftに任せれば(spec.overrideで対応できます)、そのPodはrestricted SCCの下で動作します。素のKubernetesと異なるのは、TLS上のAMQPにIngressではなくRouteを使うこと、SCCによってボリュームの権限が決まること、そしてOpenShift独自のノードアップグレードのサイクルです。このため、前述のPDBとアンチアフィニティの指針は「あれば望ましい」ものではなく、必須になります。

KubernetesクラスターにはRabbitMQのレプリカをいくつ置くべきですか?

3つです。Podのアンチアフィニティを使って、ノード間、できればゾーン間に分散させます。3つのレプリカなら、クォーラムキューが過半数を保ったまま1つの喪失に耐えられます。そして、ドレイン、ノード障害、アップグレードの1ステップで生じるのは、まさに1つの喪失です。5つにする価値があるのは、ゾーンの障害とメンテナンスを同時に乗り切る必要がある場合だけです。2つは絶対に避けてください。クォーラムキューには過半数が必要で、2ノードでは障害が1つ起きただけで過半数を失います。スループットのスケーリングはレプリカ数とは別の問題で、サイジングについてはHA、DR、クラスターのサイジングで解説しています。

無料相談

お客様のRabbitMQ クラスターを専門家がチェックします

本番環境のインシデント対応、移行の計画、アーキテクチャのセカンドオピニオンなど、どのようなご相談にもAceMQのチームが対応します。売り込みは一切なく、ご質問に的確にお答えします。

メールで問い合わせる