ブログRabbitMQ

DRにはRabbitMQのFederationとShovelのどちらを使うべきか、その使い分け

Scott Sternloff

執筆:Scott Sternloff(シニアエンタープライズアーキテクト)

LinkedIn · 更新日: · 19分で読めます

DRにはRabbitMQのFederationとShovelのどちらを使うべきか、その使い分け
On this page

リージョン間のRabbitMQは、レプリケーションではなくメッセージ移動の問題

2つ目のリージョンを計画しているアーキテクトから最もよく受ける質問は、「DRにはRabbitMQのFederationとShovelのどちらを使うべきか」というものです。問いとしては正しいのですが、そこには誤った前提が隠れています。どちらのプラグインも、状態を共有しないクラスター間でメッセージを移動させるものです。どちらもキューをコピーしません。どちらも2つのクラスターを完全に同期させ続けることはしません。障害発生の瞬間にプライマリと同じメッセージをスタンバイが保持していることをDR計画が前提としているなら、FederationでもShovelでも期待は裏切られ、しかもそれは最悪のタイミングでやってきます。

では、RabbitMQのFederationはディザスタリカバリに使えるのでしょうか。特定の形のDRであれば使えます。つまり、処理途中のメッセージの損失や重複が一定の時間幅で起こり得ることを受け入れ、リプレイに耐えられるようにコンシューマーを設計し、2つ目のリージョンを必要なトラフィックでウォームな状態に保つためにプラグインを使う、という形です。Shovelについても同じことが言えます。この記事では、RabbitMQ 3.13と4.xで各プラグインが実際に何をするのか、リカバリの観点で両者のセマンティクスがどこで異なるのか、そしてメッセージを生み出したり、気づかないうちに失ったりすることなくリージョン障害を乗り切る2リージョン構成の中で、両者をどう組み合わせるのかを解説します。

範囲について補足しておきます。リージョン内でのクラスターのサイジング、ノード数、マルチAZへの配置についてはRabbitMQのHAとクラスターサイジングのガイドで扱っているため、ここでは繰り返しません。

Federationの仕組み:エクスチェンジ、キュー、アップストリーム、ホップ

Federationはプル型のモデルです。ダウンストリームのクラスターがアップストリームを宣言し、そこへのAMQP接続を開いてメッセージを要求します。リンクを所有するのはダウンストリーム側であり、そのため設定を行うのもダウンストリーム側です。ただし当社では、役割を入れ替えられるよう両側でプラグインを有効にしています。

Federationには2つの種類があります。Exchange Federationは、ダウンストリームのエクスチェンジが、アップストリームにある同名のエクスチェンジに発行されたメッセージを受け取るようにするものです。内部的には、ダウンストリームがアップストリーム上に内部キューを作成し、ダウンストリームのエクスチェンジにあるのと同じバインディングでそれをバインドして、そこから消費します。リンクを越えるのはダウンストリームのバインディングに一致するメッセージだけなので、バインディングのないダウンストリームは何も取得しません。Queue Federationは、ダウンストリームのキューが同名のアップストリームのキューからメッセージを取得するようにするものですが、それはダウンストリームのキューにコンシューマーがいて、かつアップストリームのキューに配信可能なメッセージがある場合に限られます。これはコピーではなくサイト間の負荷分散であり、ダウンストリームへ移ったメッセージはアップストリームのキューから消えます。

アップストリーム定義のmax-hopsパラメーターは、フェデレーションされたエクスチェンジの連鎖の中で、メッセージがどこまで伝播するかを制御します。デフォルトは1で、メッセージは1つのリンクを越えたところで止まります。Federationはホップごとにx-received-fromヘッダーを付与し、すでに経由したアップストリームへメッセージを戻すことはしません。これが双方向構成でのループを防ぐ仕組みです。意図的にメッシュを構築するのでない限り、max-hopsは1のままにしてください。

アップストリームに到達できない間も、ダウンストリームはローカルのパブリッシャーとコンシューマーへのサービスを続けます。リンクはアップストリームが復旧するまで、reconnect-delay秒(デフォルトは5秒)ごとに再試行します。障害の間にアップストリームで発行されたメッセージは、アップストリーム側の内部キューに蓄積されます。その上限はアップストリーム定義に設定したmessage-ttlとexpiresだけで決まり、リンクが復旧するとキューは排出されます。これはDRにおいてFederationの最も有用な特性であると同時に、最もよくある落とし穴でもあります。長時間の障害の間に上限のないアップストリーム側のキューが膨らむと、アップストリームがディスクアラームに陥る可能性があるためです。

正常なリンクでは、内部キューがコンシューマー1つのFIFOであるため、順序は保たれます。しかし再接続をまたぐと順序は保証されず、デフォルトのack-modeであるon-confirmでは、リンク切断時に転送中だったメッセージが再配信されることがあります。Federationがリンク越しに保証するのはat-least-onceであり、exactly-onceになることはありません。はっきり言っておくと、Federationはレプリケーションでもミラーでもありません。スタンバイ側のフェデレーションされたエクスチェンジは、プライマリのキューに未消費のまま残っているメッセージについて何も知りません。

# On the downstream (standby) cluster
rabbitmqctl set_parameter federation-upstream east \
  '{"uri":["amqps://fed:REDACTED@east-a.example.internal:5671","amqps://fed:REDACTED@east-b.example.internal:5671"],"max-hops":1,"ack-mode":"on-confirm","message-ttl":3600000,"expires":86400000,"reconnect-delay":5}'

rabbitmqctl set_policy --apply-to exchanges federate-events "^events\." \
  '{"federation-upstream-set":"all"}'

URIを意図的にリストにしています。最初のアップストリームノードがダウンしていればリンクは次のノードを試みます。これこそDR用のリンクに求められる動作です。

Shovelの仕組み:静的Shovel、動的Shovel、ackモード

Shovelは、ブローカーの内部でコンシューマーとパブリッシャーを一体化させたものです。送信元キューから消費し、宛先のエクスチェンジまたはキューへ発行し、ack-modeに従って送信元にackを返します。メッセージは送信元から消えます。これがExchange Federationとの決定的な違いです。Shovelはメッセージを移動させ、Federationはバインディングに従ってコピーします。

静的Shovelはadvanced.configに記述し、変更するにはノードの再起動が必要なため、固定的な配管に向いています。動的Shovelはランタイムパラメーターで、rabbitmqctl set_parameter shovelまたは管理APIで作成し、稼働中に追加・変更・削除できます。DRでは当社はほぼ例外なく動的Shovelを使います。フェイルオーバーとフェイルバックこそ、ノードを再起動せずに設定を変更しなければならない瞬間だからです。動的Shovelは1つのノード上で動作し、そのノードに障害が起きると別のノードで再起動します。

Shovelが何を失い得るかを決めるのはack-modeです。デフォルトのon-confirmでは、Shovelは宛先がコンファームした後にはじめて送信元のメッセージにackを返すため、発行からコンファームまでの間にクラッシュしても重複が生じることはあれ、損失は生じません。on-publishでは、メッセージが宛先の接続に書き込まれた時点、つまりコンファームの前にackを返すため、悪いタイミングで宛先に障害が起きるとメッセージが失われます。no-ackでは、Shovelは送信元で自動ackを使い、何らかの障害が起きた時点でプリフェッチバッファにあったものを失います。DRのトラフィックにとって正解は1つしかなく、それはon-confirmです。

再接続の挙動はFederationと同様です。どちらかのエンドポイントとの接続が失われると、Shovelはreconnect-delay秒待ってから無期限に再試行します。ただし、src-delete-afterでキューが空になったら停止するよう指定した場合は除きます。このオプションは、1回限りの移行や、Shovelにキューを空にさせてから自身を削除させたいフェイルバックで役立ちます。

Shovelを組み合わせると、ファンイン型とファンアウト型のトポロジーを構成できます。ファンインは、送信元クラスターごとに1つずつ用意した複数のShovelが、1つの宛先エクスチェンジへ発行する構成です。当社は、リージョンごとの監査イベントや課金イベントを中央のクラスターに集約するのに使っています。ファンアウトは、1つのクラスターから複数のShovelを動かす構成で、各Shovelは同じエクスチェンジにバインドされたそれぞれの送信元キューを読み取り、異なる宛先へ配信します。1つのShovelは各メッセージを1回しか消費しないため、単体ではファンアウトできません。

rabbitmqctl set_parameter shovel orders-dr-to-west \
  '{"src-protocol":"amqp091","src-uri":"amqps://shovel:REDACTED@east-lb.example.internal:5671","src-queue":"orders.work.dr","src-prefetch-count":500,"dest-protocol":"amqp091","dest-uri":"amqps://shovel:REDACTED@west-lb.example.internal:5671","dest-queue":"orders.work.standby","ack-mode":"on-confirm","reconnect-delay":5}'

どちらのプラグインにもできないこと:同期レプリケーション

単一のクラスター内では、クォーラムキューがRaftを使ってすべてのメッセージをメンバーの過半数へレプリケーションしてから、パブリッシャーにコンファームを返します。コンファーム済みのメッセージは、少数派のノードが失われても、欠落もリプレイもなく存続します。これが同期レプリケーションであり、リージョン内の永続的なワークロードでクォーラムキューがデフォルトになっている理由です。

FederationもShovelも、このようなことは一切行いません。どちらも、プライマリのコンファーム処理の後ろで動く非同期のコンシューマーです。パブリッシャーはプライマリのクォーラムキューがコミットした時点でコンファームを受け取ります。スタンバイがメッセージを受け取るのはその少し後で、リンクがメッセージを消費し、WAN越しに転送し、スタンバイがコンファームした後になります。この差がリスクにさらされる範囲です。正常なリンクではたいてい数十ミリ秒ですが、ゼロになることはなく、リンク障害の間はリンクが復旧するまで広がり続けます。

Broadcomの商用ディストリビューションであるTanzu RabbitMQには、アクティブなクラスターからパッシブなクラスターへスキーマとメッセージデータをレプリケーションするウォームスタンバイレプリケーション機能が、独自の運用モデルを持つ製品機能として含まれています。この機能は実在し、一部の組織にとっては正当な選択肢ですが、オープンソースのディストリビューションには含まれていません。詳細はベンダーのドキュメントに委ねるべきものなのでここでは繰り返しませんが、コンプライアンス上、完全にサポートされたクラスター間レプリケーション機能が求められるのであれば、検討すべきはその選択肢です。BroadcomのRabbitMQ戦略的MSPパートナーとして、当社もこうした相談を日常的に受けています。

それ以外のすべての組織に対する率直な整理はこうです。リージョンをまたぐRabbitMQのDRは非同期であり、設計作業とは、リスクにさらされる範囲に上限を設け、アプリケーションがその影響を受けないようにすることです。

判断表:FederationとShovelの選び方

環境全体でどちらか一方を選ぶことはまれです。選択はエクスチェンジ単位、キュー単位で行い、メッセージが何を意味するか、コンシューマーが何を許容できるかによって決まります。

検討事項Exchange Federationが有利Shovelが有利
想定RPO数秒。リンクの遅延が上限となり、障害中はアップストリームのキューがバッファリング数秒。障害中は送信元キューがバッファリング
想定RTO短い。スタンバイにはすでにバインディングと稼働中のトラフィックがある短い〜中程度。スタンバイのキューでコンシューマーを起動する必要がある
アクティブ-アクティブ可能。max-hopsを1にした双方向リンク扱いにくい。キューごとに方向を1つに限定する厳格な運用が必要
アクティブ-パッシブ可能。単方向で、フェイルバック時に方向を反転可能。最も自然な用途
両サイトでのコンシューマー必須。各サイトがそれぞれのコピーを消費通常は一方のサイトが消費し、もう一方はバッファを保持
メッセージの順序正常なリンクではリンク単位でFIFO。再接続をまたぐと保証されない正常なリンクではShovel単位でFIFO。再接続をまたぐと保証されない
重複on-confirmでは再接続時に発生し得るon-confirmでは再接続時に発生し得る
1回だけ実行すべき処理不向き。すべてのサイトがコピーを受け取る適している。メッセージは移動し、1つのサイトが処理する
多数のサイトへのイベント配信非常に適している不向き。キューごと・宛先ごとにShovelが1つ必要
高レイテンシまたはパケットロスの多いWAN耐性あり。プル型、自動再試行、prefetch-countで調整耐性あり。同じ再試行モデル、src-prefetch-countで調整
トポロジーの変更バインディングに自動で追従キューごとに明示的に設定し、維持管理が必要

この表はデフォルトの指針として読んでください。多くのサービスがサブスクライブし、すべてのリージョンがすべてのイベントを受け取るべきイベントは、フェデレーションされたエクスチェンジに載せます。ちょうど1つのワーカーが処理すべきコマンドやジョブは、ローカルで処理するか、意図的に1つの宛先へShovelで移すキューに置きます。

マルチリージョンRabbitMQの設計:2リージョン構成のリファレンス

「マルチリージョンのRabbitMQはどう設計すればよいか」と尋ねるお客様は、1枚の構成図を期待しています。率直な答えは、同じ1組のクラスターの上に2つの層を重ねること、つまりイベント用の層とワーク用の層です。

2つのリージョンを想定します。Eastがプライマリ、Westがスタンバイで、それぞれが3ノードのクラスターを独自に運用し、永続的なものはすべてクォーラムキューにします。両クラスターは同一の定義(エクスチェンジ、キュー、バインディング、ポリシー、ユーザー)を持ちます。定義はEastからエクスポートし、デプロイパイプラインでWestに適用するため、差分が生じる余地はありません。エクスチェンジとバインディングの基本構成がまだ固まっていない場合は、マイクロサービスのためのエクスチェンジ、キュー、バインディングの記事で解説しています。また本番環境のRabbitMQアーキテクチャガイドでは、これが全体像の中でどこに位置するかを示しています。

イベント層では、Exchange Federationを双方向に使います。events.*という名前のトピックエクスチェンジはすべてフェデレーションされ、WestはEastのダウンストリームに、EastはWestのダウンストリームになり、max-hopsは1に設定します。イベントをサブスクライブするサービスは両リージョンで動作し、ローカルのフェデレーションされたエクスチェンジにバインドされたローカルのキューから消費します。通常運用ではEastがほぼすべてを発行し、Westはコピーを受け取ってサブスクライバーが処理し(リードモデル、キャッシュ、検索インデックスなど)、逆方向のリンクは待機状態にあります。リンクを越えるものはバインディングによって決まるため、Eastにしか存在しないサブスクライバーのトラフィックがWestに流れ込むことはありません。

ワーク層こそShovelが真価を発揮する場面です。Eastの各コマンドキュー、たとえばorders.workには、orders.cmdエクスチェンジからのバインディングでメッセージが送られます。2つ目のバインディングで同じメッセージをorders.work.drにもルーティングします。これは、注文がEastで正当に未処理のまま置かれ得る最長時間(通常15〜30分)に合わせたmessage-ttlを持つクォーラムキューです。on-confirmを指定した動的Shovelが、orders.work.drの内容をWestのorders.work.standbyへ継続的に移します。こちらも同じTTLを持ちます。通常運用ではorders.work.standbyを消費するものはなく、メッセージは届いて期限切れになり、消えていきます。このキューは直近のワークを保持するローリングウィンドウであり、プライマリのバックログのミラーではありません。

通常運用では、コマンドのコンシューマーはEastでのみ動作します。Westにはデプロイの準備ができていますが、コマンドのコンシューマーはゼロにスケールし、イベントのサブスクライバーだけを稼働させています。パブリッシャーは、Eastに解決されるDNS名またはグローバルロードバランサーのエントリ経由で接続します。

# Applied on both clusters via the definitions pipeline
rabbitmqctl set_policy --apply-to queues dr-window "^orders\.work\.(dr|standby)$" \
  '{"message-ttl":1800000}'

リージョン障害を乗り切る:重複やループを生まないフェイルオーバーとフェイルバック

「リージョン障害が起きてもメッセージを失わないようにするには」という問いは、障害の発生、フェイルオーバーの判断、フェイルバックという3つの局面に分けて考えます。

障害の間、プラグインに手を加える必要はありません。WestからEastへのFederationリンクは失敗し、5秒ごとに再試行します。EastからのShovelは接続できず、再試行を続けます。Westのイベントサブスクライバーは、すでに配信されたものの処理を続けます。障害の数秒前にEastで発行され、まだリンクを越えていなかったメッセージは、Eastが復旧するまでそこに留まります。それがRPOであり、パブリッシャー側のアウトボックスや記録システムからのリプレイによって、アプリケーション層が責任を持つ必要があります。

フェイルオーバーは自動ではなく、意図的に行う操作です。監視の一時的な揺らぎによって自動のリージョン間フェイルオーバーが発動し、コンシューマーのスプリットブレインが生じて、整合を取り戻すのに週末を丸ごと費やした例を当社は見てきました。ランブックは短いものです。独立したプローブでEastが本当に利用不能であることを確認する。パブリッシャーのDNSまたはロードバランサーのエントリをWestに向け直す。Westのコマンドコンシューマーをゼロからスケールアップする。それらがorders.work.standbyを排出していることを確認する。このキューにあるTTL以内のメッセージはすべて処理されるため、直近の時間幅の中でEastがすでに完了していた処理は再度実行されます。これは設計どおりの動作です。すべてのコマンドコンシューマーは冪等性キーを持っており、スタンバイが受け取り得る重複処理の量はTTLによって上限が決まります。

これでWestがプライマリになります。重要なのはWestのevents.*トラフィックであり、Eastをダウンストリームとするフェデレーションリンクが、Eastの復旧時にそれをEastへ流し込みます。Westで受け付けたコマンドはorders.workに入ってローカルで処理され、コピーがWestのorders.work.drにルーティングされて、逆方向のShovelに備えます。

フェイルバックは、急ぐと重複やループが生まれる局面です。当社が使う手順は次のとおりです。まず、パブリッシャーを向けず、コマンドコンシューマーをゼロにした状態でEastを起動します。WestからEastへのFederationリンクにイベントのバックログを排出させます。Westのorders.work.drからEastのorders.work.standbyへ、on-confirmの逆方向Shovelを作成します。そのうえで、トラフィックの少ない時間帯にパブリッシャーをEastへ向け直し、Eastのコンシューマーをスケールアップし、Westのコンシューマーをスケールダウンし、src-delete-afterをqueue-lengthに設定して逆方向Shovelを削除します。これでShovelはキューが空になった時点で終了します。どの時点でも、同じキューを逆方向に移動させる2つのShovelが同時に動くことはなく、同じ論理キューに対して両リージョンでコマンドコンシューマーが動くこともありません。

イベント層でループが生じることはありません。max-hopsが1であることとx-received-fromヘッダーによって、1つのリンクを越えたメッセージが戻ることはないからです。ワーク層でループが生じるのは、Shovel自身の送信元キューにバインディングでつながっているエクスチェンジへ、誰かがShovelで送り込んだ場合に限られます。ルールは、Shovelの送り先は名前を指定した宛先キューにし、送信元にメッセージを送り込んだエクスチェンジには決して送らない、ということです。

本番稼働前に実施すべき障害訓練

一度も実際に試していないDR設計は、仮説にすぎません。当社はお客様とともに、最初の本番切り替えの前と、その後は四半期ごとに、次の訓練を実施しています。

クラスター間のWANポートをファイアウォールで30分間遮断し、アップストリーム側のFederationキューとorders.work.drが増えていく様子を観察します。設定したmessage-ttlとexpiresが実際に増加を抑えていること、そしてどちらのクラスターもディスクアラームのしきい値に近づいていないことを確認します。リンクを復旧させ、実際のプリフェッチ設定でバックログの排出にどれだけかかるかを計測します。

リンクが切断されている間に番号付きのメッセージを既知の件数だけ発行し、リンクを復旧させて、届いた件数を数えます。誰かが「パフォーマンスのために」設定したno-ackのShovelやon-publishのリンクを見つけ出すのがこの訓練です。

Federationリンクを所有するノードと、Shovelを所有するノードを別々に再起動し、どちらも別のノードで再確立されることを確認します。再起動のたびに、管理UIを眺めるのではなく、rabbitmqctl federation_statusとrabbitmqctl shovel_statusで確認します。

意図的にキューを満杯にして、スタンバイでメモリアラームを発生させます。Federationリンクはダウンストリームへ発行するため、ダウンストリームでアラームが起きると、他のパブリッシャーと同じようにリンクがブロックされ、アップストリームのキューが増え始めます。アラームだけでなく、ブロックされたリンクをアラートが検知できることを確認します。

実際のコンシューマーと合成トラフィックを使ってスタンバイに対するフェイルオーバーのランブックを一通り実行し、続いてフェイルバックも一通り実行します。各フェーズで処理された重複を数え、冪等性の仕組みがそのすべてを破棄したことを確認します。両方の手順にかかった時間を計測してランブックに書き込みます。それが実際のRTOの数値だからです。

アップストリームとShovelのURIに含まれる認証情報をローテーションし、リンクが再接続されることを確認します。Federationの認証情報の期限切れが本番の障害中に発覚する、という障害パターンを当社は一度ならず目にしています。

本番環境でよく見かける誤り

最も多い誤りは、Federationをレプリケーションとみなし、インシデントの最中になって、プライマリの未消費のバックログがスタンバイに何も残っていないことに気づくケースです。対策はアーキテクチャにあります。失われてはならない処理には、DR用のバッファキューとShovelのパターン、またはアプリケーションレベルのアウトボックスが必要です。

それに次いで多いのが、message-ttlもexpiresも設定されていないアップストリーム定義です。アップストリーム上のFederationの内部キューは永続的で、長時間のリンク障害の間に増え続け、やがてアップストリームがディスクアラームに達して全員からの発行を受け付けなくなります。スタンバイの問題が、プライマリの障害に変わってしまうのです。

ベンチマークでスループットが高く出たという理由で、no-ackやon-publishに設定されたShovelもよく見かけます。スループットの向上は本物ですが、損失も本物です。Shovelを高速化する必要があるなら、on-confirmのままsrc-prefetch-countを引き上げてください。

同じキューに対する双方向のShovelもあります。たいていは慌ただしいフェイルバックの最中に作成され、そのまま削除されずに残ったものです。誰かがカウンターに気づくまで、同じメッセージを行ったり来たりさせ続けます。

アップストリームのURIにホスト名が1つしかないケースもあります。そのノードがまさに障害を起こしたノードだった場合、プライマリクラスターの他のノードが正常でも、スタンバイのリンクは接続先を失います。URIのリストを指定するか、ノードのヘルスチェックを行うロードバランサーのアドレスを指定してください。

リージョン間での定義の差分も問題になります。Eastには存在するがWestには存在しないキューがあると、Shovelは再試行のループに陥ります。さらに悪い場合は、バインディングのないエクスチェンジへ発行してしまい、メッセージが破棄されます。プライマリから定義をエクスポートし、アプリケーションをデプロイするパイプラインの中でスタンバイに適用してください。

リンクの状態を監視していないケースもあります。深夜3時に管理UIを見ている人はいません。federation_statusとshovel_statusをメトリクスのパイプラインにエクスポートし、再接続の待機時間を超えてrunningでないリンクがあればアラートを出してください。

最後に、DNSのTTLやコネクションプールによって、レコードが変更された後もずっとパブリッシャーが障害の起きたリージョンに固定されたままになるケースです。クライアントライブラリは、特に指定しない限り、起動時に解決したアドレスに再接続します。そのため、フェイルオーバーのランブックにはクライアントの再起動を含めるか、クライアントに両リージョンのエンドポイントを設定しておく必要があります。

次のステップ

この記事では、あえてクラスター間の通信経路に話を絞りました。各クラスターをどの程度の規模にするか、ノードをアベイラビリティゾーンにどう分散させるか、クォーラムキューの設定をどうするかについては、RabbitMQのHA・DRとクラスターサイジングのガイドで扱っています。FederationとShovelの層が載るメッセージングトポロジーについてはマイクロサービスのためのエクスチェンジ、キュー、バインディングで、エンタープライズ向けデプロイの全体像については本番環境のRabbitMQアーキテクチャガイドで解説しています。

RabbitMQ 3.8.xから4.xを本番環境で運用しており、ホワイトボード上に描いただけでなく、実際にフェイルオーバーとフェイルバックを経験した2つ目のリージョンを求めているなら、AceMQのRabbitMQサポートが、それを実際に手がけてきたエンジニアによる、プランに応じた15分からの対応目標を提供します。またRabbitMQコンサルティングでは、本番で実際に機能しなければならなくなる前に、お客様のチームとともに構成を設計・構築し、訓練まで実施します。

HAとDRの切り分け、定義のバックアップ、復旧目標、フェイルオーバーのテストなど、設計全体の中でこの判断がどこに位置するかについては、RabbitMQディザスタリカバリガイドをご覧ください。

よくある質問

DRにはRabbitMQのFederationとShovelのどちらを使うべきですか?

すべてのリージョンに届けるべきイベントトラフィックにはExchange Federationを使います。バインディングに自動で追従し、リンク障害時にはアップストリーム側のバッファで持ちこたえ、max-hopsを1に設定すれば双方向リンクも安全に運用できるためです。各メッセージをちょうど1つのリージョンで処理すべきワークキューには、on-confirmを指定した動的Shovelを使います。Shovelはメッセージをコピーするのではなく、指定した宛先へ移動させるためです。本番環境のDR設計の多くは両方を併用します。イベント層にはFederationを、直近のコマンドを一定期間保持するDRバッファにはShovelを使います。どちらもレプリケーションではないため、冪等なコンシューマーとパブリッシャー側のアウトボックスを組み合わせてください。

RabbitMQのFederationはディザスタリカバリに使えますか?

非同期の配信と、損失または重複が生じ得る一定の時間幅を許容するDR設計であれば使えます。Federationは、スタンバイリージョンにバインディングのあるイベントを継続的に送り続け、リンク障害の間はアップストリーム側でバッファリングし、リンクを自動で再確立します。一方で、未消費のキューのバックログはコピーせず、同期レプリケーションも行わず、ミラーとしても機能しません。障害発生の瞬間にプライマリが保持していた内容とまったく同じものをスタンバイが保持していなければならない、という要件であれば、オープンソースのFederationでは満たせません。商用版のウォームスタンバイレプリケーション機能か、アプリケーションレベルのアウトボックスを検討してください。

マルチリージョンのRabbitMQはどう設計すればよいですか?

リージョンごとに独立したクラスターを運用し、1つのパイプラインから同一の定義をデプロイします。イベント用のエクスチェンジはmax-hopsを1にして双方向にFederationを構成し、各リージョンのサブスクライバーがローカルのコピーを消費できるようにします。ワークキューについては、許容できる再処理の時間幅に合わせたメッセージTTLを持つDR用のコピーキューをプライマリに追加し、on-confirmのShovelで、フェイルオーバーまで何も消費しないスタンバイキューへ移します。コマンドのコンシューマーは常に1つのリージョンだけで動かし、パブリッシャーは切り替え可能なDNSまたはロードバランサーのエントリ経由で接続させます。そしてフェイルオーバーは自動トリガーではなく、ランブックに沿った意図的な手順として実施します。

リージョン障害が起きてもメッセージを失わないようにするには?

メッセージは、切断されたリンクのどちら側にあっても、その側でバッファリングされ、リンクが復旧した時点で配信されるため失われません。Federationはmessage-ttlとexpiresで上限を設けたアップストリーム側のキューにバッファリングし、Shovelは送信元キューにバッファリングします。障害直前にプライマリがコンファームしたものの、まだ転送されていなかったメッセージが残存するRPOであり、このギャップを埋められるのはパブリッシャー側のアウトボックスか、記録システムからのリプレイだけです。コンシューマーは冪等でなければなりません。どちらのプラグインも再接続をまたぐとat-least-once(少なくとも1回)の配信になり、フェイルオーバーではDRの時間幅を意図的に再処理するためです。

ディザスタリカバリにおいて、Shovelのackモードは本当に重要ですか?

Shovelがメッセージを失う可能性があるかどうかを決めるのがこの設定です。on-confirmでは、宛先がコンファームした後にはじめて送信元のメッセージにackを返すため、障害が起きても最悪の場合に重複が生じるだけです。on-publishでは、宛先のコンファームより前に送信元へのackが行われるため、その瞬間に宛先で障害が起きるとメッセージが失われます。no-ackでは、障害が起きるとShovelのプリフェッチバッファにあるものがすべて失われます。DRのトラフィックには必ずon-confirmを使ってください。スループットが気になる場合は、ackモードを弱めるのではなく、送信元のプリフェッチ数を引き上げます。

RabbitMQでキューを別リージョンへ同期レプリケーションできますか?

オープンソースのFederationプラグインやShovelプラグインではできません。これらは、プライマリのコンファーム処理の後ろで動く非同期のコンシューマーだからです。RabbitMQにおける同期レプリケーションはクォーラムキューのクラスター内の特性であり、クォーラムキューはコンファームの前にメンバーの過半数へコミットします。この挙動を得るために単一のクラスターをリージョンをまたいで引き延ばす構成はサポートされておらず、WANのレイテンシのもとでは性能も大きく低下します。商用のTanzu RabbitMQディストリビューションには、クラスター間レプリケーションのためのウォームスタンバイレプリケーション機能があります。それ以外の場合は、リージョン間のDRを非同期と捉え、その結果生じる時間幅を許容できるようにアプリケーションを設計してください。

Scott Sternloff

著者

Scott Sternloffシニアエンタープライズアーキテクト

AceMQのシニアエンタープライズアーキテクト。RabbitMQ、Kafka、Redisのアーキテクチャ、クラスタリング、移行といった技術記事を担当しています。

Talk to an engineer

Need a hand with RabbitMQ?

Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.

無料相談

お客様のRabbitMQ クラスターを専門家がチェックします

本番環境のインシデント対応、移行の計画、アーキテクチャのセカンドオピニオンなど、どのようなご相談にもAceMQのチームが対応します。売り込みは一切なく、ご質問に的確にお答えします。

メールで問い合わせる