このページの内容
KubernetesにRabbitMQをデプロイするには?
- 適切なPod名と安定したネットワークIDを持つStatefulSetとしてRabbitMQをデプロイ
- クラスターの各ノードのデータストレージ用のPersistentVolumeClaim(PVC)を管理
- クラスターのメンバーシップ、ノードの検出、Erlang cookieを処理
- 宣言的にクラスターを構成するためのRabbitmqClusterカスタムリソースを提供
終了猶予期間とは何か、なぜ重要なのか?
「pre-stopフックが何をしているかというと、Podの終了を許可する前に、クォーラムクリティカルな状態のキューが1つもないことを確認しているのです。クォーラムを守っているわけです。ところが、レプリカを3から0にすると、デッドロックが起きます。Podを1つ停止するとクォーラムがクリティカルになり、それがそのPodの終了を妨げ、それがクラスターの停止を妨げるからです。」
— Scott Sternloff、AceMQ プリンシパルアーキテクト、Adeptiaとのセッションにて、2026年4月
KubernetesでRabbitMQクラスターを安全にゼロまでスケールダウンするには?
kubectl patch rabbitmqcluster <cluster-name> -n <namespace> \
--type merge \
-p '{"spec": {"terminationGracePeriodSeconds": 30}}'kubectl patch rabbitmqcluster <cluster-name> -n <namespace> \
--type merge \
-p '{"spec": {"replicas": 0}}'kubectl patch rabbitmqcluster <cluster-name> -n <namespace> \
--type merge \
-p '{"spec": {"replicas": 3, "terminationGracePeriodSeconds": 604800}}'クラスターのアップグレード中にKubernetesのノードがドレインされると何が起きるか?
「御社のお客様は、クラスターをアップグレードする自動化されたプロセスをお持ちです。一度に1つのノードが停止します。そして、そのノードで動いているRabbitMQのPodは、クォーラムの保護のために終了を拒否するので、ノードのドレインを許しません。こうしてアップグレードのプロセスが止まってしまうのです。」
— Scott Sternloff、AceMQ プリンシパルアーキテクト、Adeptiaとのセッションにて、2026年4月
- 自動アップグレードのウィンドウの前にデフォルトの終了猶予期間を短縮し、終了後に元に戻す
- ウォッチドッグタイマーを設定する:SIGTERMを受け取ってからN秒以内にPodが終了しなければ、強制削除する(慎重に使用すること)
- PodDisruptionBudget(PDB)を使う:同時に利用不可になるPodを最大1つに制限するPDBを設定すれば、ノードのドレイン中もKubernetesがクォーラムの制約を守るようになる
KubernetesのRabbitMQ Podで絶対にやってはいけないことは?
kubectl delete pod --force --grace-period=0)は、pre-stopフックを完全に迂回します。強制削除されるPodがいずれかのキューのクォーラムリーダーであれば、それらのキューは即座にクォーラムを失います。kubectl exec -n <namespace> <rabbitmq-pod> -- rabbitmq-diagnostics check_running
kubectl exec -n <namespace> <rabbitmq-pod> -- rabbitmq-queues check_if_node_is_quorum_criticalストレージと監視の考慮事項
- volumeBindingMode: WaitForFirstConsumerを指定したStorageClassを使い、Podとそのボリュームが同じアベイラビリティゾーンに配置されるようにする
- SSDまたはNVMeのストレージを強く推奨します。クォーラムキューのWALの書き込みはレイテンシの影響を受けやすいためです
- Podを削除してもデータが残るように、PVCの保持ポリシーをRetainに設定する
- RabbitMQのデータボリュームには共有ストレージ(NFSや共有ファイルシステム)を使わない
rabbitmq_quorum_queue_stat_voters— ノード間でクォーラムが維持されているかを確認- Podの再起動回数 — 頻繁な再起動は、クォーラムやリソースの問題を示す
- PVCの容量 — 各PodのPVCのディスク使用率を監視
rabbitmq_node_disk_free— ディスクアラームが発動する前にアラートを出す
こうしたデプロイでは、ベースイメージがサプライチェーンの問題として繰り返し話題になります。Bitnamiイメージのセキュリティとエンタープライズ向けの代替手段をご覧ください。
RabbitMQをKubernetesで動かすか、仮想マシンで動かすか:判断の基準
RabbitMQはどちらでも問題なく動きます。決め手になるのは、誰がプラットフォームを運用するのか、そしてその下のストレージがどうなっているのかです。
- 誰が運用するのか。プラットフォームチームがすでにKubernetes上でステートフルなワークロードを運用していて、オペレーター、PodDisruptionBudget、StatefulSetのアップグレードが日常業務になっているなら、RabbitMQはStatefulSetが1つ増えるだけです。インフラチームがVMの運用に長けていて、Kubernetesはステートレスなアプリケーションの置き場所にすぎないなら、ブローカーをそこに置くことは、メッセージングチームが本番システムの上でKubernetesの障害パターンを学ぶことを意味します。
- ストレージ。クォーラムキューとストリームは、書き込みのバッチごとにfsyncを行います。ローカルのNVMeを持つVMなら、これは1ミリ秒未満です。Kubernetesのデフォルトはネットワーク接続のPersistentVolumeで、fsyncのたびにストレージネットワークを経由します。クラウドのブロックストレージでは、fsyncあたり通常2〜5 msかかり、それがクォーラムキューのパブリッシャーコンファームのレイテンシとして直接現れます。ローカルPVのプロビジョナーもありますが、Podが特定のノードに固定されます。クォーラムキューがクラシックキューよりもこの点を気にする理由は、クラシックキューとクォーラムキューの比較で解説しています。
- アップグレード。KubernetesはStatefulSetのローリング再起動を1Podずつ行い、オペレーターは各ステップの前にクォーラムを待ちます。VMでは、自分のスケジュールで1ノードずつインプレースでアップグレードします。Kubernetesのほうが自動化されていますが、前提が崩れていたときの許容度は低くなります。
- 障害ドメイン。Kubernetesでは、ノードはドレインされ、Podは退避させられ、オートスケーラーは断りなくキャパシティを回収します。日常的なドレインとクォーラムの喪失を隔てているのは、PDBとPodのアンチアフィニティだけです。VMが障害を起こす頻度は低く、そのタイミングも自分で管理できますが、障害時のダメージは大きく、ブローカーを別の場所で再起動してくれるスケジューラーもありません。
- ネットワーク。Podは、ヘッドレスServiceからホスト名を受け取り、再起動のたびに変わるIPアドレスを持ちます。クライアントはServiceやIngressを経由して接続し、確実に再接続できなければなりません。再接続は必ず起きるからです。ブローカーのIPアドレスに依存しているものは、すべて壊れます。VMではホスト名が何年も変わらないため、クライアントの再接続のバグは隠れたままになります。
- ライセンス。商用ディストリビューションであるTanzu RabbitMQは、まずKubernetes向けにパッケージ化されており、VMイメージも用意されています。オープンソースのRabbitMQはどこでも動きます。
当社の推奨は次のとおりです。チームが小規模で、レイテンシに敏感なクォーラムキューのワークロードが中心ならVM。プラットフォームチームがあり、オペレーターを使っていて、環境の他の部分がすでにKubernetes上にあるならKubernetes。当社の案件ではおおよそ半々に分かれており、うまくいかないKubernetesのデプロイは、ほぼ例外なく、誰かがステートフルなワークロードを運用する準備ができていたからではなく、Kubernetesが手元にあったから採用されたものです。
オペレーター、Helmチャート、手作りのStatefulSet
RabbitMQ Cluster Kubernetes Operatorは、アップストリームで保守されている選択肢で、当社が標準として使うものです。RabbitmqClusterリソースを宣言すると、オペレーターがStatefulSet、ピア検出用のヘッドレスService、クライアント用のService、Erlang cookieとデフォルトユーザーのSecret、そしてサーバーの設定を作成します。ノードを停止する前にクォーラム+1を待つpreStopフックでローリング再起動を処理し、指定したSecretからTLSを構成します。PodDisruptionBudgetは自動では作成しないため、maxUnavailable: 1を指定したものを追加してください。あわせてMessaging Topology Operatorを使うと、ユーザー、vhost、権限、キュー、エクスチェンジ、バインディング、ポリシー、Shovel、FederationのアップストリームがCRDになり、トポロジーをクラスターの定義と並べてGitで管理できます。
本番環境を想定した最小構成のクラスターは次のとおりです。
apiVersion: rabbitmq.com/v1beta1
kind: RabbitmqCluster
metadata:
name: orders
spec:
replicas: 3
resources:
requests:
cpu: "2"
memory: 8Gi
limits:
cpu: "2"
memory: 8Gi
persistence:
storageClassName: fast-ssd
storage: 100Gi
rabbitmq:
additionalConfig: |
cluster_partition_handling = pause_minority
vm_memory_high_watermark.relative = 0.6
disk_free_limit.absolute = 5GBRabbitMQ 4.3以降では、cluster_partition_handlingの行を削除してください。4.3.0でパーティション処理の戦略が廃止され、このキーは効果を持たなくなりました。requestsとlimitsは同じ値にしてください。オペレーターはPodのメモリ設定からRabbitMQのメモリのオーバーライド値を導き出すため、ハイウォーターマークとcgroupの上限が一致します。spec.affinityを追加して、ノード間(ゾーンがあればゾーン間)でPodのアンチアフィニティを設定してください。
- コミュニティのHelmチャートは、StatefulSetに加えてService、設定、Secretを1回の
helm installでテンプレート化します。クラスターを立ち上げるには十分です。しかし、インストール後は何もしません。クォーラムを待つ順序立てたローリングアップグレードもなければ、トポロジーの管理もなく、helm upgradeのたびにStatefulSetを書き換えて、あとはうまくいくことを祈るだけです。すべてをHelmで標準化しているなら、オペレーターを動かし、代わりにRabbitmqClusterリソースをチャートで管理してください。 - 手作りのStatefulSetに正当性があるのは、次の2つの場合です。CRDやクラスタースコープのオペレーターのインストールが許可されていないクラスター、あるいは他のステートフルなシステム向けに堅牢化したStatefulSetのパターンをすでに持っていて、RabbitMQもそれに合わせたいチームです。その場合、上で挙げたことをすべて自分で引き受けることになります。ピア検出の設定、preStopのドレインフック、プローブのチューニング、Secretのローテーション、そしてアップグレードの段取りです。当社が引き継ぐ案件でよく見るバグは、2つのPodを同時に再起動してしまったアップグレードです。
当社に依頼が来るKubernetesの障害パターン
- ドレインでクォーラムリーダーが落ち、それをPDBが許してしまった。症状:日常的なノードのアップグレード中に、パブリッシャーがコンファームの待ちで10〜30秒ブロックされる、あるいは3つのレプリカのうち2つが停止しているため、キューにリーダーがいないと報告される。原因:PDBがない、または複数のPodが利用不可になることを許すPDBと、クォーラムキューがリーダーを再選出して追いつくよりも速くノードをドレインするクラスターアップグレードの組み合わせ。対策:
maxUnavailable: 1を指定したPDB、レプリカが同じノードに同居しないようにするPodのアンチアフィニティ、そしてドレインが待機するようにするオペレーターのpreStopフック(または独自のrabbitmq-upgrade await_online_quorum_plus_one)。 - ノード障害後のPVの再アタッチ。症状:ノードが停止した後、そのノードにあったRabbitMQのPodが、Multi-Attachエラーやボリュームのノードアフィニティの競合により、6分以上ContainerCreatingのまま止まる。原因:ゾーンに縛られたブロックストレージは自身のゾーンでしかアタッチできず、停止したノードのアタッチは、ノードコントローラーがそのノードを見限るまで解放されない。対策:アンチアフィニティでレプリカを分散させていれば、クラスターは3つのうち2つのレプリカで稼働し続けるので、無理に抵抗しないこと。
WaitForFirstConsumerのストレージクラスを使ってボリュームがPodのゾーンに配置されるようにし、再アタッチの時間はネットワークストレージの既知のコストとして受け入れる。 - フロー制御の前にOOM Killされる。症状:Podが終了コード137で再起動し、ログにはRabbitMQのエラーがなく、メモリアラームも一度も発動していない。原因:コンテナのメモリ上限が、ハイウォーターマークが作動する点よりも下にある。RabbitMQがcgroupの上限ではなくホストのメモリを読み取ったか、ウォーターマークがErlang VMのアロケーターやバイナリヒープのための余裕を残していないためである。対策:requestsとlimitsを同じ値にし、上限より20〜30パーセント下に余裕を残すウォーターマークを設定し、
rabbitmq-diagnostics memory_breakdownで、RabbitMQが認識している合計がPodと一致していることを確認する。 - 回復中にLiveness Probeによって再起動される。症状:異常終了後の再起動で、大きなキューを持つノードがCrashLoopBackOffに陥り、試行のたびにインデックスの再構築が少しずつ進むものの、kubeletに強制終了されてしまう。原因:ノードがMnesiaやKhepriをリプレイしてキューのインデックスを再構築している間に、
rabbitmq-diagnostics check_runningなどを実行するLiveness Probeが失敗する。大きなノードでは、この処理にプローブの失敗しきい値より長い時間がかかる。対策:failureThresholdに十分な余裕を持たせたStartup Probe、ポート5672だけを見るReadiness Probe、そして攻撃的なLiveness Probeは一切設定しないこと。オペレーターがLiveness Probeなしで提供されているのは、まさにこの理由からである。 - DNSやヘッドレスServiceの変更でピア検出が壊れた。症状:Podは起動するが、それぞれが1台だけのクラスターを形成する、あるいはデータディレクトリが別の名前のノードのものであるため起動を拒否する。原因:ノード名はPodのホスト名とヘッドレスServiceから導き出されるため、Service、Namespace、クラスターのDNSドメインの名前を変更すると、すべてのノード名が変わり、ディスク上のデータが孤立する。対策:名前を変更しないこと。どうしても変更が避けられない場合は、新しいクラスターへの移行として扱う。定義をエクスポートし、キューをShovelで移すかドレインし、クライアントを切り替える。
メッセージングをKubernetesに載せたときに壊れるものの全体像については、Kubernetes上のメッセージングで壊れるものをご覧ください。こうした問題をチケットではなくアラートとして受け取るために何を監視すべきかについては、KubernetesでのRabbitMQの監視をご覧ください。これらを以前に解決した経験のある人に任せたい場合は、当社のKubernetesとコンテナのコンサルティングとRabbitMQサポートをご覧ください。
Kubernetesが適切な置き場所かどうか、オペレーター、ストレージクラス、ネットワークポリシー、requestsとlimits、監視、ローリングアップデートまでの一連の流れは、RabbitMQ on Kubernetesガイドで解説しています。
よくある質問
RabbitMQはKubernetesと仮想マシンのどちらで動かすべきですか?
どちらでも動きます。チームが小規模で、ワークロードがパブリッシャーコンファームのレイテンシに厳しいクォーラムキューやストリームに大きく依存しており、まだKubernetes上でステートフルなワークロードを運用していないなら、VMで動かしてください。プラットフォームチームがあり、Cluster Operatorを使っていて、RabbitMQとやり取りするアプリケーションがすでにKubernetes上にあるなら、Kubernetesで動かしてください。問題になるのはストレージです。ネットワーク接続のボリュームはfsyncのたびに数ミリ秒を上乗せし、クォーラムキューは絶えずfsyncを行います。当社はお客様のためにどちらの構成も運用しています。どちらもそれ自体が間違いではありません。間違いなのは、運用できる人が誰もいないのにKubernetesを選ぶことです。
RabbitMQのKubernetesオペレーターはどれを使うべきですか?
RabbitMQチームがアップストリームで保守しているRabbitMQ Cluster Kubernetes Operatorを、Messaging Topology Operatorと組み合わせて使います。Cluster OperatorはRabbitmqClusterリソースを管理します。StatefulSet、Service、Secret、設定、TLS、そしてクォーラムを考慮したローリング再起動です。Topology Operatorは、ユーザー、vhost、キュー、エクスチェンジ、バインディング、ポリシーをKubernetesのリソースとして管理するため、トポロジーをGitで管理できます。PodDisruptionBudgetは自分で追加してください。Helmチャートは最初のインストールには十分ですが、その後は何も管理しません。手作りのStatefulSetが意味を持つのは、CRDが許可されていない環境だけです。
RabbitMQはOpenShift上で問題なく動きますか?
はい。当社はEKS、AKS、GKEと並んで、OpenShift上でもエンタープライズのお客様のためにRabbitMQを運用しています。Cluster OperatorはOperatorHubからインストールでき、Podのセキュリティコンテキストをオペレーターに設定させずOpenShiftに任せれば(spec.overrideで対応できます)、そのPodはrestricted SCCの下で動作します。素のKubernetesと異なるのは、TLS上のAMQPにIngressではなくRouteを使うこと、SCCによってボリュームの権限が決まること、そしてOpenShift独自のノードアップグレードのサイクルです。このため、前述のPDBとアンチアフィニティの指針は「あれば望ましい」ものではなく、必須になります。
KubernetesクラスターにはRabbitMQのレプリカをいくつ置くべきですか?
3つです。Podのアンチアフィニティを使って、ノード間、できればゾーン間に分散させます。3つのレプリカなら、クォーラムキューが過半数を保ったまま1つの喪失に耐えられます。そして、ドレイン、ノード障害、アップグレードの1ステップで生じるのは、まさに1つの喪失です。5つにする価値があるのは、ゾーンの障害とメンテナンスを同時に乗り切る必要がある場合だけです。2つは絶対に避けてください。クォーラムキューには過半数が必要で、2ノードでは障害が1つ起きただけで過半数を失います。スループットのスケーリングはレプリカ数とは別の問題で、サイジングについてはHA、DR、クラスターのサイジングで解説しています。