On this page
デッドレター化とは、配信できなくなったメッセージを、RabbitMQが対処可能な場所へ移す仕組みです。適切に設定すれば、問題のあるペイロードを対応チケットに変えられます。設定を誤れば、本番環境のメッセージが跡形もなく消える原因として、当社が最もよく目にするものになります。このガイドでは、RabbitMQ 3.13と4.xでのこの仕組みの実際の挙動、それを土台にしたリトライのパターン、そしてデッドレターキューを正しく機能させ続けるための運用上の習慣を解説します。
デッドレター化とは、正確には何か
キューがメッセージをデッドレター化する理由は、ちょうど4つしかありません。
- コンシューマーが
basic.rejectまたはbasic.nackとrequeue=falseで拒否した。 - メッセージ単位のTTL、またはキューの
message-ttlが期限切れになった。 - キューが
max-lengthまたはmax-length-bytesの上限を超え、先頭からメッセージを破棄した。これはデフォルトのdrop-headによるオーバーフローの挙動です。reject-publishの場合は、ブローカーが新しいパブリッシュを拒否するだけで、デッドレター化は行われません。 - クォーラムキューで、メッセージが
delivery-limitで許される回数を超えてキューに戻された。
ブローカーはこれらをrejected、expired、maxlen、delivery_limitとして記録します。それ以外は対象になりません。x-expiresで期限切れになったキューは、中身ごと削除されます。パージはメッセージを破棄します。パブリッシュ時にブローカーがルーティングできなかったメッセージも、デッドレター化はされません。それはmandatoryフラグやオルタネートエクスチェンジ(alternate exchange)の役割です。
デッドレターエクスチェンジ(DLX)は普通のエクスチェンジです。特別なタイプも、宣言時のフラグもありません。キューがデッドレター化するときに再パブリッシュする先のエクスチェンジにすぎず、キューにdead-letter-routing-keyが設定されていればそれを、なければメッセージの元のルーティングキーを使います。普通のエクスチェンジなので、パーキングロット(最終的な退避先)のキューと監査用キューにファンアウトすることも、トピックエクスチェンジを通じて元のルーティングキーでルーティングすることも、チームごとの失敗メッセージをそれぞれのキューに送ることもできます。「デッドレターキュー」とは、そこにバインドしたキューのことにすぎません。
再パブリッシュの際、メッセージには2つの変化が起こります。まず、expirationプロパティがクリアされるため、一度期限切れになったメッセージがすぐにまた期限切れになることはありません。元の値はx-death内にoriginal-expirationとして保存されます。次に、x-deathヘッダーが追加または更新されます。本文、メッセージID、相関ID(correlation id)をはじめ、それ以外のプロパティはすべてそのまま残ります。
デッドレターエクスチェンジの設定:引数かポリシーか
キューにDLXを設定する方法は2つあります。キュー引数は、クライアントが宣言時に設定します。
{
"x-queue-type": "quorum",
"x-dead-letter-exchange": "orders.retry",
"x-dead-letter-routing-key": "order.failed"
}ポリシーでは、dead-letter-exchangeとdead-letter-routing-keyのキーを使って同じ挙動をブローカー側から設定し、名前のパターンでキューに適用します。
ポリシーを優先してください。キュー引数は変更できません。引数として設定したDLXを変えるにはキューを削除して再宣言する必要があり、そのためには事前にキューを空にし、そのキューを宣言しているすべてのクライアントと調整しなければなりません。ポリシーは実行時に変更でき、一致するすべてのキューに適用され、定義のエクスポートにも含まれ、運用担当者が1か所で確認できます。両方が存在する場合は引数が優先されます。これが引数を避けるべき2つ目の理由です。x-dead-letter-exchangeを設定しているアプリケーションは、運用側がデプロイなしには上書きできない値を固定してしまうのです。例外はx-queue-typeで、これは引数で指定する必要がありますが、キューのタイプは決して変わらないので問題ありません。
1つ落とし穴があります。1つのキューに適用されるポリシーは、優先度が最も高い1つだけです。同じキューに対して、デッドレター化用のポリシーと、max-lengthやdelivery-limit用の別のポリシーを定義すると、有効になるのはどちらか一方だけです。キューに必要なキーは、すべて同じポリシー定義にまとめてください。
ブローカーはメッセージをデッドレター化するとき、x-deathヘッダーにエントリーを追加します。これはキューと理由の組み合わせごとに1つのエントリーを持つ配列です。同じキューが同じメッセージを同じ理由で再びデッドレター化すると、そのエントリーのcountが増え、エントリーは配列の先頭に移動します。各エントリーには、キュー、理由、メッセージが持っていたエクスチェンジとルーティングキー、タイムスタンプ、そしてTTLが関係した場合はoriginal-expirationが記録されます。ブローカーはまた、x-first-death-reason、x-first-death-queue、x-first-death-exchangeを一度だけ設定し、x-last-death-*に相当するヘッダーは常に最新の状態に保ちます。リトライループを3周した後のヘッダーの例を示します。
x-death:
- queue: orders.work
reason: rejected
exchange: orders
routing-keys: [order.created]
count: 3
time: 1788430492
- queue: orders.wait.30s
reason: expired
exchange: orders.retry
routing-keys: [order.created]
count: 3
time: 1788430462
original-expiration: "30000"
x-first-death-reason: rejected
x-first-death-queue: orders.work
x-first-death-exchange: orders
x-last-death-reason: rejected
x-last-death-queue: orders.work
x-last-death-exchange: ordersデッドレター化はサイクルを形成することがあり、ブローカーにはそれに対するルールが1つあります。メッセージが同じキューに2回到達し、サイクル内のどのホップにも拒否が含まれていなければ、そのメッセージは破棄されます。どこか1つでもコンシューマーによる拒否が含まれていれば、サイクルは継続します。そのため、requeue=falseで駆動するリトライループは、毎周に拒否が含まれるので機能します。一方、TTLだけで構成したループ、たとえばワークキューにデッドレター化して戻すmessage-ttl付きのパーキングロットでは、メッセージは2周目に黙って破棄されます。
クォーラムキューではルールが変わる
クォーラムキューは再配信回数をx-delivery-countヘッダーで数え、delivery-limitポリシーキー(またはx-delivery-limit引数)でその上限を設けます。上限を超えると、キューはDLXが設定されていればメッセージをデッドレター化し、設定されていなければ破棄します。RabbitMQ 4.0以降、配信回数の上限のデフォルトは20です。それ以前は無制限でした。
クラシックキューから移行したチームが驚くのが、このデフォルトです。例外を捕捉してbasic.nackをrequeue=trueで呼び出すコンシューマーは、クラシックキューでは延々と回り続け、CPUを浪費するものの何も失いませんでした。DLXのない4.xのクォーラムキューでは、同じコードが20回試行した後にメッセージを破棄し、痕跡はカウンターにしか残りません。delivery-limitは自分で選んだ値に設定し、必ずDLXとセットで使ってください。
クォーラムキューは、dead-letter-strategyポリシーキーによって2つのデッドレター戦略にも対応しています。デフォルトのat-most-onceは、確認なしで再パブリッシュします。DLXが存在しない場合や、転送先のキューが利用できない、またはメッセージを拒否した場合、メッセージは失われます。これは、クラシックキューがこれまで一貫して提供してきた保証と同じです。
at-least-onceでは、DLXにバインドされたすべてのキューが確認を返すまで、デッドレター化されたメッセージを元のキューに保持します。元のキューがクォーラムキューであること、overflowがreject-publishに設定されていること、そしてDLXがあることが必要です。内部では、キューのリーダーがデッドレターワーカー(ドキュメントではデッドレターコンシューマーと呼ばれています)を動かしています。これは元のキューからデッドレター化されたメッセージを読み取り、確認付きでDLXにパブリッシュし、確認されなかったものを再試行します。ここから3つのことが言えます。DLXが存在しない、または転送先が停止している場合、メッセージは設計どおり元のキューに蓄積し、その長さとディスクの上限に算入されます。配信がat-least-onceなので、DLQには重複が届くことがあります。そして、内部のデッドレターコンシューマーは仕組みの一部であってアプリケーションではないため、デッドレターキューには別途、実際のコンシューマーが必要です。
| 挙動 | クラシックキュー | クォーラムキュー |
|---|---|---|
| 再配信の上限 | なし。再キューのループは永久に続く | delivery-limit(4.xのデフォルトは20)。超えるとDLXへ、なければ破棄 |
| 再配信回数 | redeliveredフラグのみ | x-delivery-countヘッダー |
| デッドレター戦略 | at-most-onceのみ | at-most-onceまたはat-least-once |
| レプリケーション | 4.0でミラーリングは削除 | 設計上、Raftでレプリケーション |
| オーバーフローのデフォルト | drop-head | drop-head。at-least-onceにはreject-publishが必要 |
メッセージを失わないリトライのパターン
基本的なリトライループでは待機キューを使います。ワークキューのDLXはリトライ用のエクスチェンジで、キュー単位のmessage-ttlを持ちコンシューマーのいない待機キューへルーティングします。待機キューのDLXはワーク用のエクスチェンジで、dead-letter-routing-keyは設定しません。こうすることで、メッセージは元のルーティングキーのまま戻ってきます。一時的な障害に遭遇したコンシューマーはrequeue=falseで拒否し、メッセージはTTLの間待機してから戻ってきます。コンシューマーは、ワークキューに対する理由がrejectedのx-deathエントリーから試行回数を読み取り、上限に達したら、再び拒否するのではなくメッセージをパーキングロットに移します。
指数バックオフを実装するには、wait.10s、wait.1m、wait.10mのように、遅延の段階ごとに待機キューを1つずつ用意します。1つのキューでメッセージ単位のTTLを使ってこれを実現しようとしてはいけません。期限切れのメッセージが削除されるのは、クラシックキューでもクォーラムキューでもキューの先頭からだけなので、先頭にある10分のメッセージが、その後ろにある10秒のメッセージをせき止めてしまいます。段階別のキューを使う場合、コンシューマーは試行回数から段階を選び、その段階のルーティングキーでリトライ用のエクスチェンジにパブリッシュし、パブリッシャー確認を待ってから、はじめて元のメッセージをackします。確認が届く前にackしてしまうことが、コンシューマー主導のリトライでメッセージが失われる原因です。それでも、delivery-limitのセーフティネットとして、ワークキューのDLXは残しておいてください。
代替手段として、遅延メッセージエクスチェンジ(delayed message exchange)プラグインがあります。x-delayヘッダーを付けてパブリッシュすると、遅延時間が経過するまでエクスチェンジがメッセージを保持します。トレードオフは永続性です。遅延メッセージはエクスチェンジをホストしているノード上のローカルストアに置かれ、レプリケーションされないため、そのノードを失えば保留中のメッセージはすべて失われます。また、保留中のメッセージが大量にたまるとプラグインの性能が低下します。さらに、中身を確認できるキューもありません。短い遅延がいくつかある程度なら便利ですが、午前3時に調べる必要が出てくるかもしれないリトライのバックログには、地味でも中身が見え、クォーラムキューとして宣言すればレプリケーションもされる待機キューのほうが適しています。
リトライが役立つのは一時的な障害だけです。ペイロードの形式が不正である、存在しないレコードを参照しているといった理由で確定的に失敗するメッセージは、すぐにパーキングロットへ送るべきなので、コンシューマー側でリトライ可能な例外とそうでない例外を区別してください。そして、このページで紹介しているどの仕組みも、同じメッセージを2回配信する可能性があります。リトライ、リプレイ、at-least-onceのデッドレター化が保証するのは配信であって、一意性ではありません。コンシューマーはメッセージIDや業務キーをもとに冪等にしておかなければなりません。そうしないと、リトライによって障害が二重請求に変わってしまいます。
実例:待機キューとパーキングロットを使った注文処理
トポロジーは次のとおりです。
- エクスチェンジ
orders(topic)と、order.*でバインドしたクォーラムキューorders.work。 - エクスチェンジ
orders.retry(fanout)と、TTLが30秒でordersにデッドレター化して戻すクォーラムキューorders.wait.30s。 - エクスチェンジ
orders.dlx(fanout)と、TTLなし・自動処理なしのクォーラムキューorders.parking。
2つのポリシーでこれをカバーします。
rabbitmqctl set_policy --vhost orders orders-work '^orders\.work$' \
'{"dead-letter-exchange":"orders.retry","dead-letter-strategy":"at-least-once","overflow":"reject-publish","delivery-limit":5}' \
--apply-to queues --priority 10
rabbitmqctl set_policy --vhost orders orders-wait '^orders\.wait\.' \
'{"message-ttl":30000,"dead-letter-exchange":"orders","dead-letter-strategy":"at-least-once","overflow":"reject-publish"}' \
--apply-to queues --priority 10コンシューマーは試行回数の上限を適用し、ackする前に確認付きでパブリッシュして、明示的にパーキングロットへ退避させます。
MAX_ATTEMPTS = 3
def on_message(msg):
attempts = death_count(msg.headers, queue="orders.work", reason="rejected")
try:
process_order(msg) # idempotent on msg.message_id
msg.ack()
except RetryableError as err:
if attempts + 1 >= MAX_ATTEMPTS:
park(msg, reason=str(err))
else:
log.warning("retry", id=msg.message_id, attempt=attempts + 1, err=err)
msg.reject(requeue=False) # -> orders.retry -> orders.wait.30s -> orders
except NonRetryableError as err:
park(msg, reason=str(err))
def park(msg, reason):
headers = dict(msg.headers, **{"x-parked-reason": reason, "x-parked-at": now_iso()})
publish_with_confirm("orders.dlx", msg.routing_key, msg.body, msg.properties, headers)
msg.ack() # ack only after the broker confirmed the parkそれぞれの要素が特定の事態に備えています。処理中にクラッシュするとメッセージは再キューされ、それが5回続くとdelivery-limitに達し、メッセージは破棄されずに待機キューへ送られます。一時的な障害であれば30秒待ってから戻り、最大3回まで試行されます。恒久的な障害は、最初に発生した時点でパーキングロットに退避されます。at-least-onceのデッドレター化により、orders.wait.30sが一時的に利用できなくなっても、リトライのホップでメッセージが失われることはありません。
デッドレターキューの運用
デッドレターキューが役に立つのは、それがたまってきたことに誰かが気づける場合だけです。主に4つのシグナルでほぼカバーできます。
深さ:パーキングロットと各待機キューのrabbitmq_queue_messagesです。オブジェクト単位のメトリクスを有効にしたPrometheusプラグイン、または詳細エンドポイントのqueue_coarse_metricsファミリーから取得できます。レート:深さよりも早く変化を検知できます。rabbitmq_global_messages_dead_lettered_*_totalカウンターは、デッドレター化を理由別に、またat-least-onceの場合は確認の有無別に分けて示します。コンシューマー数:トポロジーが崩れていないことを示します。rabbitmq_queue_consumersは、パーキングロットでは0以外、すべての待機キューではちょうど0であるべきです。待機キューにコンシューマーがいると、遅延の意味がなくなるからです。滞留時間:RabbitMQは直接は公開していないため、キューをサンプリングするときにx-parked-atヘッダーやx-death内のtimeから概算します。
出発点となるしきい値は次のとおりです。サービスに合わせて調整してください。
- 通常はデッドレター化が発生しないキューで1件でも発生:すぐに警告。最初の1件が最も安く調査できます。
- 5分間のデッドレター化のレートがパブリッシュレートの1%を超える:ページング(担当者の呼び出し)。
delivery_limitのカウンターが少しでも増加:調査。これは業務上の失敗ではなく、コンシューマーのクラッシュや再キューのループを意味します。- パーキングロットの深さが、レビューできる処理能力に見合った件数を超える、または30分間増え続ける:ページング。
- パーキングロットのコンシューマーが10分間0、または待機キューにコンシューマーが1つでもある:アラート。
at-least-onceを設定しているのに、DLQが横ばいのまま元のキューの深さが増えている:DLXまたはその転送先が壊れています。
パーキングロットに退避させる時点で、ブローカーが記録しない情報をログに残してください。例外のクラスとメッセージ、コンシューマーのホストとビルド、メッセージIDと相関ID、x-deathから得られる元のエクスチェンジとルーティングキー、そして試行回数です。メッセージがなぜデッドレター化されたのかはブローカーが知っていますが、何が問題だったのかを知っているのはコンシューマーだけです。例でx-parked-reasonを使っているように、理由はヘッダーにも付けておきましょう。後でキューを開いた人が、ログと突き合わせなくても読めるようになります。本文が小さく機密情報を含まない場合を除き、本文全体をログに残すのは避けてください。本文はキューの中にあります。
メッセージを安全にリプレイする
リプレイとは、退避したメッセージをワーク用のエクスチェンジに再パブリッシュすることです。まず原因を解消してください。修正されていないコンシューマーにリプレイすると、パーキングロットとワークキューの間に、人間を介在させたループができてしまいます。
最も簡単な方法は、パーキングロットからワーク用のエクスチェンジへの動的Shovelで、rabbitmqctl set_parameter shovelで作成します。ワークキューが確認を返してはじめてメッセージがパーキングロットから消えるようack-modeをon-confirmにし、dest-exchangeをワーク用のエクスチェンジに設定し、元のルーティングキーが使われるようdest-exchange-keyは未設定のままにします。さらにsrc-delete-afterをqueue-lengthに設定すると、Shovelは開始時点にあった分を処理し終えた後に自動で削除されます。管理UIのメッセージ移動機能も、内部ではShovelです。Shovelはすべてを順番どおりにフィルタリングなしでリプレイし、x-deathは蓄積され続けます。これは望ましい挙動です。再び失敗したメッセージは、より長い履歴を持ってパーキングロットに戻ってくるからです。
選択的にリプレイしたい場合は、リプレイ用のコンシューマーを使います。控えめなプリフェッチでパーキングロットから消費し、ヘッダー、時刻、IDでフィルタリングし、確認付きでパブリッシュして、確認ごとにackする小さなツールです。レート制限をかけてください。週末の間にたまったパーキングロットが、月曜の朝に下流のデータベースへ殺到しかねないからです。試行回数をリセットしたい場合はx-deathを取り除いてもかまいませんが、その代わりにx-replay-countヘッダーを記録しておくべきです。
確認なしのその場しのぎのスクリプトから再パブリッシュしないこと、ピーク時にリプレイしないこと、根本原因を特定していないバッチをリプレイしないことを徹底してください。
保持期間とディスク
パーキングロットは永続的な状態です。クォーラムキューでは、すべてのメッセージがすべてのメンバーのRaftログとセグメントファイルに書き込まれるため、3メンバーのキューでは、メッセージがそこにとどまっている間ずっと3つのコピーが保持されます。デッドレター化されるメッセージはサイズが大きいものになりがちで、何日も滞留しがちです。ディスクの計画を立ててください。
パーキングロットはmax-length-bytesで上限を設け、overflowはdrop-headではなくreject-publishに設定します。drop-headは、キューがいっぱいになると最も古い証跡を黙って破棄します。reject-publishなら、パーキングロットがいっぱいになったことがはっきりわかります。そこへのデッドレター化が失敗し、at-least-onceの元のキューはバックログを保持し、アラートが発火します。はっきりわかることこそが正しいのです。
パーキングロットにmessage-ttlを設定しないでください。保持期間の管理はアーカイブ用のコンシューマーの役割です。レビュー期間より古いメッセージをオブジェクトストレージやデータベースのテーブルに移してackし、キューをアーカイブではなく受信箱として保ちます。避けようとしている障害は現実のものです。誰も処理しないパーキングロットは、ノードがディスク空き容量アラームのしきい値を超えるまで膨らみ続けます。そしてディスクアラームはそのノード上のすべてのパブリッシャーをブロックし、失敗メッセージがゆっくりたまっていただけの状況を、クラスター全体の障害に変えてしまいます。
本番環境でよく見るアンチパターン
コンシューマーもアラートもないDLQ。ディスクアラームが発火するか、何か月も後に無関係なインシデントの最中に誰かがそのキューを見つけるまで、メッセージはたまり続けます。キューが膨らんでも気づけないのであれば、手間をかけてリークを作り込んだのと同じです。
キューがすでにバインドされているエクスチェンジに、ルーティングキーを変えずにデッドレター化する構成。メッセージは同じキューに戻ってきます。期限切れや長さの上限による破棄の場合は、サイクル検出によって破棄されます。拒否された場合は、コンシューマーを全速力でホットループし、CPUを使い切ってログを埋め尽くします。
上限のないリトライ。試行回数に上限がなければ、決して成功しないメッセージが永久に循環し、1周するたびにコンシューマーの処理能力を消費します。さらにat-least-onceとreject-publishの組み合わせでは、元のキューにまで滞留が逆流することがあります。
4.xでDLXの受け皿にミラーリングされたクラシックキューを使っている構成。クラシックキューのミラーリングはRabbitMQ 4.0で削除され、ha-*のポリシーキーはもう反映されません。3.xでレプリケーションされていたデッドレターキューは、アップグレード後には単一ノードのクラシックキューになり、そのノードに障害が起きれば証跡も一緒に失われます。アップグレード前に、デッドレターキューをクォーラムキューに変換してください。
DLQ自体へのTTL設定。「整理しておくため」にパーキングロットへ1週間のmessage-ttlを設定すると、調査に必要なまさにそのメッセージが削除されます。さらにパーキングロットがワークキューにもデッドレター化して戻す構成なら、そのTTLによって期限切れだけで構成されたサイクルが生まれ、サイクル検出によって黙って破棄されます。
より小さなものが2つあります。1つは、退避させずに本文をログに出力してackすることです。これはログの1行をキューとして扱うようなものです。もう1つは、パーキングロットのコンシューマーをワーク用のコンシューマーと同じプロセス内で動かすことです。パーキングロットをいっぱいにする障害が、それを処理するはずの仕組みまで道連れにしてしまいます。
次に読むべき記事
デッドレター化はルーティングの上に成り立っており、DLXの妥当性は、その周りのエクスチェンジ設計次第です。このテーマについては、マイクロサービスのためのエクスチェンジ、キュー、バインディングのガイドで詳しく解説しています。キュータイプの検討がまだであれば、クラシックキューとクォーラムキューの比較で判断材料を整理しています。この記事の内容はすべて、重要なものにはクォーラムキューを使うことを前提にしています。そもそもパーキングロットをいっぱいにしてしまう、より広い障害パターンについては、RabbitMQのトラブルシューティングでよくある10の問題をご覧ください。
デッドレターキューがたまっているのに原因がわからない場合や、4.xへのアップグレードを計画していて、ミラーリングされたキューが使えなくなる前にDLXのトポロジーをレビューしてほしい場合は、ぜひ当社にお任せください。AceMQはBroadcomが指名する唯一のRabbitMQ MSPパートナーであり、RabbitMQ 3.8.xから4.xまでをサポートし、P1インシデントには、プランに応じた15分からの対応目標で対応します。RabbitMQサポートプランをご覧いただくか、当社のRabbitMQへの取り組みについて詳しくお読みください。
よくある質問
デッドレターエクスチェンジとデッドレターキューの違いは何ですか?
デッドレターエクスチェンジは、キューがメッセージをデッドレター化するときに再パブリッシュする先のエクスチェンジです。特別なタイプを持たない、ごく普通のエクスチェンジです。デッドレターキューは、そのエクスチェンジにバインドされた任意のキューのことで、この名前は慣習的な呼び方であって、ブローカーの概念ではありません。RabbitMQが把握しているのはエクスチェンジだけで、メッセージが最終的にどこへ行くかは、宣言したバインディングによって決まります。この分離は便利です。1つのDLXから、リプレイ用のパーキングロットと分析用の監査キューにファンアウトすることも、元のルーティングキーに基づいてチームごとの失敗メッセージをそれぞれのキューにルーティングすることもできます。
RabbitMQはルーティングできないメッセージもデッドレター化しますか?
しません。デッドレター化の対象になるのは、すでにキューに入っていて、拒否された、期限切れになった、長さの上限で破棄された、またはクォーラムキューの配信回数の上限を超えたメッセージだけです。一致するバインディングがないエクスチェンジにパブリッシュされたメッセージは、パブリッシュ時点で破棄されます。ただし、パブリッシャーがmandatoryフラグを設定していればパブリッシャーに返却され、エクスチェンジにオルタネートエクスチェンジ(alternate exchange)が設定されていればそちらにルーティングされます。ルーティングできないメッセージが重要な場合は、専用のキューを持つオルタネートエクスチェンジを設定し、デッドレターキューと同じように監視してください。
RabbitMQでリトライ回数を数えるにはどうすればよいですか?
x-deathヘッダーを読みます。各エントリーはキューと理由の組み合わせを表し、そのcountフィールドは、そのキューがその理由でメッセージをデッドレター化するたびに増えていきます。待機キューを使ったリトライループでは、queueがワークキューでreasonがrejectedのエントリーを探してください。そのcountが、これまでの試行回数です。クォーラムキューでは、これとは別のx-delivery-countヘッダーが1つのキュー内での再配信回数を数えます。こちらは明示的な拒否ではなく、クラッシュや再キューを捉えるものです。上限はコンシューマー側で適用し、上限に達したら、確認付きの明示的なパブリッシュでメッセージをパーキングロットに退避させてください。
クォーラムキューでもデッドレターエクスチェンジは使えますか?
使えます。しかもクォーラムキューには、クラシックキューにはなかった機能が2つ加わります。delivery-limitポリシーは再配信回数に上限を設け、上限を超えたメッセージをデッドレター化します。RabbitMQ 4.0以降のデフォルトは20なので、DLXを設定しておかないとそうしたメッセージは破棄されます。また、dead-letter-strategyポリシーキーをat-least-onceに設定すると、デッドレター化されたメッセージは、転送先のキューが確認を返すまで元のキューに保持されます。この設定にはoverflowをreject-publishにする必要があります。障害の証跡がレプリケーションされるよう、元のキューと、できればデッドレターキュー自体もクォーラムキューにしてください。
デッドレターエクスチェンジが存在しない場合はどうなりますか?
ブローカーは、キューの宣言時にもポリシーの適用時にもエクスチェンジ名を検証しないため、その設定は何の警告もなく受け入れられます。デフォルトのat-most-once戦略では、デッドレター化されたメッセージはすべて、エラーもログも残さずに破棄されます。RabbitMQで最も気づかれにくいデータ消失のパターンの1つです。クォーラムキューでat-least-onceを使っている場合は、エクスチェンジが作成されて転送先のキューが確認を返すまで、デッドレター化されたメッセージは元のキューに保持されるため、代わりに元のキューが膨らんでいきます。DLXとそのキューは定義ファイル(definitions)で宣言し、デッドレター化のレートに見合うだけDLQが増えていない場合にアラートを出してください。
デッドレターキューにTTLを設定すべきですか?
設定すべきではありません。パーキングロットにmessage-ttlを設定すると、誰かが調査してリプレイできるようにあえて残しておいたメッセージが削除されてしまいます。しかも、根本的な問題が解決されたかどうかとはまったく関係のないタイマーで削除されます。パーキングロットがワークキューにもデッドレター化して戻す構成になっていれば、期限切れによって拒否を含まないサイクルが生まれ、ブローカーはそのメッセージを黙って破棄します。保持期間の管理は、古いメッセージを永続的なストレージに移してackするアーカイブ用コンシューマーで行い、キューはmax-length-bytesとreject-publishで上限を設け、深さと滞留時間でアラートを出してください。
Talk to an engineer
Need a hand with RabbitMQ?
Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.
ガイド・製品比較・調査レポート


