On this page
結論から言えば、標準ではクォーラムキューを使い、クラシックキューは、ノード障害でメッセージが失われても許容できる、本当に一時的で生成・削除が頻繁な処理にとどめるべきです。これはしばらく前から正しいとされてきた指針ですが、ルールそのものよりもその理由のほうが重要です。チームを実際に苦しめるのは、2つの例外と移行コストだからです。
この疑問はRabbitMQのアセスメントで頻繁に挙がり、たいていは次の2つのどちらかの形をとります。クラシックキューだらけのクラスターを引き継いだ運用担当者が、変換が混乱に見合うのかを知りたいケース。あるいは、新しいシステムを設計しているチームが、根拠を説明できる標準を必要としているケースです。
3つのキュータイプを重要な観点で比較
RabbitMQには知っておくべき3つのストレージの仕組みがあり、3つ目はそもそもキューではありません。誤用されやすいのはまさにそのためです。
ほとんどの設計を左右するのは電源喪失への耐性の行です。クォーラムキューは、パブリッシャーに確認応答を返す前に、過半数のノードで各メッセージをレプリケーションし、かつディスクにフラッシュします。クラシックキューはローカルで永続化しますがレプリケーションは行わないため、ノード障害が起きるとキューも道連れになります。ストリームはレプリケーションしますが確認応答の前にfsyncを行わないため、Kafkaと同じリスクを抱えています。テレメトリには十分でも、決済には不向きです。
誤解されやすいのは読み取りの行です。クラシックキューとクォーラムキューは破壊読み取りで、コンシューマーがメッセージを受け取るとそのメッセージは消えます。ストリームは非破壊読み取りで、メッセージは残り、多数のコンシューマーが同じ履歴をそれぞれのオフセットで独立して読み取れます。キューのメッセージを読み直したいと思ったら、必要なのはストリームです。
クォーラムキューがfsyncを行っても速い理由
クォーラムキューに対するよくある反論は、メッセージごとにディスクへフラッシュすれば遅くなるはずだというものです。実際にはそうではありません。その理由はある設計上の判断にあり、RabbitMQとKafkaの最も明確な技術的違いでもあるため、理解しておく価値があります。
クォーラムキューは先行書き込みログ(WAL)を共有しています。1回のディスクへのフラッシュで、多数の異なるキュー宛てのメッセージをまとめて処理できるため、コストはキューごとに個別に発生するのではなく、ブローカー全体で償却されます。そのおかげで、多数のキュー、fsyncを伴うレプリケーション、実用的なスループットを同時に実現できるのです。通常、この3つのうち2つしか選べないものです。
Kafkaは逆の方式をとります。fsyncがパーティション単位で行われるためコストが高く、Kafkaはデフォルトでfsyncを推奨せず、レプリケーションだけに頼っています。これは欠陥というより別の設計思想ですが、確認応答済みのKafkaメッセージはディスク上ではなく、複数のブローカーのページキャッシュ上にあるということになります。
もう1つ、より目立たない利点があります。クォーラムキューのRaftは、メッセージの内容だけでなく配信状態も対象にしています。どのメッセージがどのコンシューマーに貸し出されているか、そのコンシューマーがクレジットをいくつ保持しているか、といった情報です。リーダーのフェイルオーバー後も、新しいリーダーはその状態を保ったまま処理を再開するため、バッチ全体を再配信することはありません。メッセージ単位のTTL、優先度、遅延、デッドレターのルーティングが実現できるのは、この仕組みがあるからです。
クォーラムキューが耐久性とフェイルオーバーを実現する仕組み
前述のfsyncの償却の仕組みは、クォーラムキューが標準として使えるほど高速な理由を説明するものです。しかし、処理の途中でノードが落ちても実際にどう生き残るのかは説明していません。本番環境で頼りにする前に理解しておくべきなのは、こちらの部分です。
クォーラムキューはRaftグループです。奇数個のメンバーが1ノードに1つずつ存在し、常に1つのメンバーがリーダーとして選出されています。リーダーはすべてのパブリッシュとコンシューマーへの配信を受け付け、フォロワーはリーダーのログをレプリケーションして選挙で投票します。ノードのクラッシュやネットワークからの切り離しによってリーダーが応答しなくなると、フォロワーはハートビートの途絶でそれを検知します。2つのフォロワーが同時に選挙を始めないよう、ランダム化された選挙タイムアウトを待ったうえで、最初に過半数の票を獲得したフォロワーが新しいタームのリーダーになります。運用担当者の操作は不要で、クライアントから見えるダウンタイムも再接続の間だけです。
パブリッシャー確認応答(publisher confirm)が実際に意味するもの:RabbitMQが確認応答を返すのは、メッセージがリーダーだけでなく、グループのメンバーの過半数に書き込まれてからです。3メンバーのキューなら3つのうち2つです。この時点で書き込みは永続化されており、3つ目のレプリカを持つノードが二度と戻らなくても、失うのはレプリカ1つであり、メッセージではありません。
この過半数の要件は、障害の数ごとの可用性も決定します。3メンバーの場合、1つを失っても残る2つで過半数を形成できるため、キューは書き込みを受け付け続け、欠けたノードが復帰してRaftログから追いつくまで、レプリカが1つ少ない状態で動作します。2つを失うと、生き残った1ノードだけでは過半数を形成できないため、キューは書き込みの受け付けを完全に停止します。ログが不完全なメンバーが唯一の信頼できる情報源になってしまうリスクを避けるための、意図的な設計です。クラスターレベルのpause_minorityと同じ考え方を、キュー単位で適用したものと言えます。
メンバー数を偶数にするのが、単に不要なだけでなく見た目以上に悪い選択である理由もここにあります。4メンバーのキューでも、許容できるのは1メンバーの喪失までです。2つ失うと4つ中2つしか残らず、過半数になりません。つまり、Raftのオーバーヘッドとメモリコストを伴うレプリカを丸ごと1つ追加しても、耐障害性は3メンバーとまったく同じです。そのため、メンバー数は常に奇数にすべきです。レプリカの配置もクラスターノードの配置と同じ考え方に従います。1ノードに1メンバーとし、別々のホストまたはアベイラビリティゾーンに分散させることで、1つのインフラ障害で同じキューの2つのメンバーが同時に失われないようにします。
実例:決済処理でのクォーラムキューの活用
決済処理は、前述の耐久性モデルがまさに想定しているワークロードです。すべてのメッセージが重要で、アカウント内での順序も重要であり、気づかないうちに重複が起きることは、遅いリトライよりも深刻です。このケースで各要素がどのように組み合わさるかを見ていきます。
- トポロジー。アベイラビリティゾーンごとに1ノードを置いた3メンバーのクォーラムキューなら、特別な対処なしに、耐久性の要件とゾーン全体の障害の両方に対応できます。これは当社の高可用性・災害対策・クラスターサイジングガイドで解説している3AZ構成と同じパターンです。決済ワークロードは、ノードを1つ節約するために単一AZへ縮小すべきでない典型的なケースです。
- 送りっぱなしではなく、パブリッシャー確認応答を使う。決済を開始するサービスは、呼び出し元に決済の受け付けを伝える前に、ブローカーからのパブリッシュ確認応答を待ちます。前述の過半数書き込みの保証により、この確認応答は、下流に決済の発生が伝わる前に、決済指示が3ノード中少なくとも2ノードで永続化されていることを意味します。
- 回数を制限したリトライとデッドレター。キューに
x-delivery-limitを設定し、コンシューマーでの処理に失敗し続けるメッセージが無限にループしないようにします。配信試行回数を使い切ったメッセージは、破棄するのではなく専用のデッドレターキューにルーティングします。決済のDLQはゴミ箱ではなくアラート条件として扱うべきです。そこに入ったものは、最初の数回の試行で正常に完了しなかった決済を意味するため、担当者か自動の照合ジョブが確認する必要があります。 - 決済IDをキーにした冪等なコンシューマー。クォーラムキューもクラシックキューと同様に、at-least-once(少なくとも1回)の配信を保証します。前述の配信上限やDLXと組み合わせると、コンシューマーが同じ決済メッセージを複数回受け取ることがあります。トランザクションを再度適用する前に、処理済みとして記録した決済IDをチェック(またはアップサート)するようにコンシューマーを設計し、再配信が二重請求や台帳の二重記帳ではなく、何もしない処理になるようにしてください。
- 順序どおりの決済処理にはシングルアクティブコンシューマー。借方と貸方を順番に適用するなど、アカウント内で決済の順序が重要な場合は、キューに
x-single-active-consumerを設定します。これにより、一度に1つのコンシューマーインスタンスだけがキューを処理し、アクティブなコンシューマーが停止した場合はバックアップのコンシューマーに自動でフェイルオーバーします。スループットを多少犠牲にしてキュー単位の厳密な順序を得るもので、資金の移動においては通常、正しいトレードオフです。 - 監視すべき項目。決済キュー自体のキューの深さとコンシューマーのラグ、DLQの深さ(ほぼゼロであるべきで、継続的な増加はインシデントです)、コンシューマーごとの再配信回数(増加傾向はブローカーの健全性ではなくコンシューマーのバグを示します)、そして3メンバー間のレプリカの同期状態です。同期状態を監視していれば、遅れているレプリカが最後の1つになる前に気づけます。この単一キューを超えたパターンについては、マイクロサービスのためのエクスチェンジ、キュー、バインディングで、同じ耐久性の保証がより広いイベント駆動設計の中でどう組み合わさるかを解説しています。また、AceMQが決済グレードのメッセージング設計をどのようにスコープ策定するかの全体像は、レジリエンスと決済の最適化をご覧ください。
変換によって失うもの
多くの指針は「クォーラムキューを使おう」で終わっています。本当に役立つのは、実際に多くの人がつまずく2つのポイントです。
- キューあたりのメモリ使用量が増える。クォーラムキューはRaftの状態を持つため、クラシックキューよりも多くのメモリを使います。セッション単位やリクエスト単位でよく見られる、小さく短命なキューを数千個使う設計の場合、それらを一度にすべて変換すると、以前は存在しなかったメモリ逼迫にクラスターが陥ることがあります。善意の移行がインシデントを引き起こす、最もよくあるパターンです。
- 優先度の仕組みが同じではない。クラシックキューは
x-max-priorityで優先度を実装します。クォーラムキューは優先度の扱いが異なり、同一の仕組みを提供していません。そのため、クラシックキューの優先度のセマンティクスに依存して動作するキューは、単に再宣言するのではなく設計を見直す必要があります。こうしたキューは、移行の最中ではなく、移行を計画する前に洗い出しておきましょう。
知っておくべき明確な上限もあります。クォーラムキューはシャーディングされません。レプリケーションとfsyncを行った場合の上限は毎秒約80,000メッセージで、1つのキューを複数のノードに分割して高速化することはできません。多数のキューを合わせた全体のスループットは問題なくスケールしますが、非常に負荷の高い単一のフローには、アプリケーションレベルのシャーディングが必要です。つまり、負荷を分散するルーティングキーを使って、N個のキューにパブリッシュします。この制約と、Kafkaのパーティショニングとの比較についてはRabbitMQとKafkaの比較で解説しています。
選び方と、変換に実際にかかるコスト
個々のキューについては、4つの質問で判断できます。
このチャートの注意書きが、運用上の現実です。キュータイプは宣言時に固定されます。その場での変換はできません。移行するには、新しいクォーラムキューを宣言し、パブリッシャーとコンシューマーの接続先をそちらに切り替え、クラシックキューのメッセージを処理し終え、空になったら削除する必要があります。稼働中のシステムでは、これは設定の編集ではなく、ドレイン期間を設けた調整済みの変更作業です。
うまくいく順序は次のとおりです。失うわけにはいかない処理を担うキューから先に、少数ずつ、メモリを監視しながら変換します。本当に一時的なキューはクラシックのまま残します。すべてを一度に変換したくなる気持ちは抑えてください。それこそが、安全性の改善を障害に変えてしまう変更です。
大規模な環境全体での変換を検討していて、メモリや優先度の落とし穴を作業中ではなく開始前に洗い出したい場合は、RabbitMQヘルスチェックの標準的な範囲で対応できます。スコープ策定についてはAceMQにご相談ください。
こうした選択の背景にある通説のいくつかは、もう当てはまりません。詳しくはRabbitMQの通説と実際をご覧ください。
キュータイプは、RabbitMQクラスタリング・サイジングガイドで取り上げる7つの判断のうち2つ目です。また、選択を誤ることは信頼性ガイドで紹介する10の障害パターンのうち4つ目にあたります。
よくある質問
クラシックキューとクォーラムキューの違いは何ですか?
クラシックキューは1つのノード上に存在し、メッセージ単位で永続化されます。そのノードに障害が起きると、ノードが復旧するまでキューとその中身は利用できません。クォーラムキューはRaftコンセンサスを使って奇数台のノードにレプリケーションされ、パブリッシャーに確認応答を返す前に、過半数のレプリカで各メッセージをディスクにフラッシュします。クラシックはローカルで生成・削除が速く、クォーラムはレプリケーションされていて安全です。失うわけにはいかないメッセージには、クォーラムキューを標準として使うことが推奨されています。
クォーラムキューはクラシックキューより遅いですか?
多少は遅くなりますが、その差はほとんどの人が想像するより小さいものです。単一のクォーラムキューは、レプリケーションとfsyncを行ったうえで毎秒約80,000メッセージを処理します。クラシックキューはそのどちらも行わないため、もう少し高速です。クォーラムキューが高速なのは先行書き込みログを共有しているためで、1回のfsyncで多数のキューをまとめて処理できるので、コストはキューごとに発生するのではなく償却されます。
今でもクラシックキューを使うべきなのはどんなときですか?
処理が本当に一時的で生成・削除が頻繁であり、ノード障害によるメッセージの消失が許容できる場合です。キャッシュ無効化のブロードキャスト、一時的な通知、いずれにせよ再生成される作業データなどが該当します。また、クラシックキューはキューあたりのメモリ使用量が少ないため、小さく短命なキューを非常に多数運用する場合には重要な違いになります。
クラシックキューをその場でクォーラムキューに変換できますか?
できません。キュータイプは宣言時に固定されるため、変換するには新しいクォーラムキューを宣言し、パブリッシャーとコンシューマーをそちらに移し、クラシックキューのメッセージを処理し終えてから削除する必要があります。ドレイン期間を設けた移行作業として計画してください。数千のキューを一度にまとめて変換するのは、最も失敗しやすい移行パターンです。
クォーラムキューはメッセージの優先度に対応していますか?
同じ形では対応していません。クラシックキューはx-max-priority引数で優先度をサポートしますが、クォーラムキューは優先度の扱いが異なり、同一の仕組みを提供していません。そのため、クラシックキューの優先度のセマンティクスに依存しているキューは、単に変換するのではなく設計を見直す必要があります。この点とキューあたりのメモリ使用量の増加が、移行の途中でチームがつまずく2つの落とし穴です。
クォーラムキューには何台のノードが必要ですか?
奇数台が必要で、実用上の基本は3台です。3台なら過半数を維持したまま1台の障害に耐えられます。大規模な環境では5台が一般的で、2台の障害に耐えられます。5台を超えるとコンセンサスのオーバーヘッドが増える割に安全性はあまり向上しないため、それより大きなクラスターは通常、クォーラムの要件以外の理由によるものです。
ストリームはクォーラムキューの代わりになりますか?
なりません。両者は異なる課題を解決するものです。ストリームは非破壊読み取りの追記専用ログなので、コンシュームしてもメッセージは削除されず、多数のコンシューマーが同じ履歴をそれぞれ独立して読み取れます。クォーラムキューは、破壊読み取りとメッセージ単位の確認応答を行うワークキューです。また、ストリームは確認応答の前にfsyncを行わないため、耐久性の保証が弱くなります。
クォーラムキューはノード障害に耐えられますか?
はい、それこそが主な目的です。クォーラムキューはパブリッシュの確認応答を返す前に、Raftコンセンサスを使って各メッセージをメンバーの過半数にレプリケーションします。そのため3メンバーのキューは、1台のノードを失っても動作を続け、2台目を失って3台中2台に到達できなくなった時点で初めて書き込みの受け付けを停止します。メンバーは1ノードに1つずつ、別々のホストまたはアベイラビリティゾーンに配置し、1つのインフラ障害で同時に複数のレプリカが失われないようにしてください。
クォーラムキューで決済処理のスループットをまかなえますか?
単一のクォーラムキューの上限は、レプリケーションとfsyncを行ったうえで毎秒約80,000メッセージで、ほとんどの決済ワークロードがキューあたりに必要とする量を大きく上回ります。特定のフローでそれ以上が必要な場合は、クォーラムキューは内部でシャーディングされないため、1つのキューのさらなるスケールを期待するのではなく、ルーティングキーを使って複数のクォーラムキューにシャーディングしてください。パブリッシャー確認応答、`x-delivery-limit`、デッドレタリング、冪等なコンシューマーを組み合わせれば、決済でボトルネックになるのはスループットではなく、リトライ時の正確性であることがほとんどです。
ガイド・製品比較・調査レポート

