ブログRabbitMQ

RabbitMQのconsumer_timeout:その役割と、コンシューマーが消える理由

Scott Sternloff

執筆:Scott Sternloff(シニアエンタープライズアーキテクト)

LinkedIn · 更新日: · 7分で読めます

RabbitMQのconsumer_timeout:その役割と、コンシューマーが消える理由
On this page

consumer_timeoutは、RabbitMQの配信確認応答のタイムアウトです。コンシューマーが配信を受け取ったまま、タイムアウトを超えて確認応答しないでいると、RabbitMQはPRECONDITION_FAILEDチャネル例外でそのコンシューマーのチャネルを閉じ、未確認応答のメッセージは再配信のためにキューに戻されます。デフォルトは30分です。RabbitMQ 4.3以降は、クォーラムキューにのみ適用されます。

適用されるのは、手動確認応答モードのコンシューマーだけです。手動確認応答モードは、メッセージを失ってはならない場合のAMQP 0-9-1クライアントの一般的な設定で、ブローカーは配信を渡したあと、コンシューマーが処理を終えたメッセージの確認応答を返すのを待ちます。このタイムアウトは、メッセージを受け取ったままハングしたコンシューマーを検出し、メッセージを永久に保持させるのではなくキューに戻すためにあります。しかし、ジョブが単に30分以上かかるだけの正常なコンシューマーも検出してしまい、多くの混乱はここから始まります。アプリケーションは動いていて、接続も開いているのに、管理UIのコンシューマー数がいつの間にかゼロになっているのです。

コンシューマータイムアウトのエラーはどのように表示されるか

ブローカーは、コンシューマータグ、チャネル、キュー、デリバリータグとともにチャネルのクローズをログに記録します。RabbitMQのドキュメントに掲載されているメッセージは次のとおりです。

Consumer 'consumer-tag-998754663370' on channel 1 and queue 'qq.1' in vhost '/' has timed out
waiting for a consumer acknowledgement of a delivery with delivery tag = 10. Timeout used: 180000 ms.

クライアント側では、PRECONDITION_FAILEDのチャネル例外として届きます。閉じられるのは接続ではなくチャネルなので、チャネルのシャットダウンを処理していない限り、クライアントライブラリは接続を維持したまま、目立ったログを何も出さないことがよくあります。キューではメッセージが再びready(配信待ち)として表示され、redeliveredフラグが付いた状態で再配信されるため、時間のかかるジョブが2回実行されることもあります。

RabbitMQのコンシューマーが消費を止める3つの理由

タイムアウトは、アプリケーションが指示していないのにコンシューマーが消費を止める3つの原因の1つです。管理UI上ではどれも同じように見えますが、対処法はそれぞれ異なります。

  • 確認応答のタイムアウトがチャネルを閉じた。上記のログが出力され、接続は維持されたまま、コンシューマーだけが消えています。処理に時間がかかりすぎたか、コンシューマーがハングしています。
  • ブローカーがコンシューマーをキャンセルした。キューが削除されたり、キューをホストしているノードに障害が起きたりすると、RabbitMQはクライアントに非同期のbasic.cancelを送ります。クライアントはconsumer_cancel_notifyのケーパビリティを通知し(RabbitMQ公式のクライアントはデフォルトで通知します)、クライアントライブラリはJavaクライアントのhandleCancelのようなコールバックを通じてそれをアプリケーションに伝えます。アプリケーションがそのコールバックを無視すると、コンシューマーのいないチャネルを抱えたままになります。
  • 接続が切れた。ロードバランサー、ファイアウォール、NATゲートウェイがアイドル状態のTCP接続を切断したか、クライアントのプロセスがフリーズしています。これはハートビートで検出できます。推奨されるデフォルトは60秒で、ハートビートが2回欠落すると相手に到達不能とみなされます。代わりに、OSレベルのTCPキープアライブで同じことを行うこともできます。

確認する順序は、まずブローカーのログ、次にクライアントのチャネルとキャンセルのコールバック、最後にネットワークです。ブローカーのログを見れば、3つのうちどれだったかが数秒でわかります。

consumer_timeoutの設定:グローバル、キュー単位、または無効化

グローバルに設定するには、RabbitMQの設定ファイルrabbitmq.confでタイムアウト値をミリ秒単位で指定します。

# one hour
consumer_timeout = 3600000

RabbitMQ 3.12以降では、ポリシーまたはキュー引数を使ってキュー単位で設定できます。アプリケーションを再デプロイせずに変更できるため、ポリシーのほうが適しています。

rabbitmqctl set_policy queue_consumer_timeout "with_delivery_timeout\.*" '{"consumer-timeout":3600000}' --apply-to quorum_queues

キュー引数はx-consumer-timeoutで、宣言時に指定します。こちらもミリ秒単位です。

RabbitMQはタイムアウトを1分に1回評価するため、1分未満の値はサポートされず、5分未満の値は推奨されません。advanced.configでconsumer_timeoutをundefinedに設定すれば無効にできますが、ドキュメントでは無効化ではなく、数時間といった大きな値にすることを推奨しています。

RabbitMQ 4.3での変更:クォーラムキューのみに

RabbitMQ 4.3以降、配信の確認応答タイムアウトはクォーラムキューでのみサポートされます。その結果、次の2つのことが起こります。

  • クラシックキューのコンシューマーは保護を失う。クラシックキューからメッセージを受け取ってハングしたコンシューマーは、チャネルか接続が閉じるまでそのメッセージを保持し続けます。クラシックキューで止まったコンシューマーの復旧をタイムアウトに頼っていた場合は、代わりにクライアント側のタイムアウトや監視が必要です。
  • クォーラムキューへの移行で有効になることがある。1時間かかるジョブがクラシックキューで問題なく動いていたワークロードでも、クォーラムキューへの移行後にPRECONDITION_FAILEDによるチャネルのクローズが発生し始めることがあります。最初のインシデントが起きてからではなく、移行作業の一環として、それらのキューにキュー単位のconsumer-timeoutを設定してください。

キュータイプの違いの全体像については、クラシックキューからクォーラムキューへの移行で解説しています。

タイムアウトする前に、止まったコンシューマーを検出する方法

タイムアウト寸前のコンシューマーは、外からは正常に見えます。接続済みで、サブスクライブもしており、処理中のメッセージもあります。早期に検出するには、次の3つを確認します。

動かなくなった未確認応答のメッセージ。キューごとに、ready、unacknowledged、コンシューマー数を比較します。

rabbitmqctl list_queues -p / name messages_ready messages_unacknowledged consumers consumer_utilisation

messages_unacknowledgedが横ばいのままmessages_readyが増えているキューでは、コンシューマーが処理を終えられない配信を抱えています。バックログのあるキューでconsumer_utilisationが1.0を大きく下回っている場合も、反対側から同じことを示しています。キューにはメッセージがあるのに、コンシューマーがプリフェッチの上限に達しているため配信できないのです。

どのコンシューマーが保持しているか。rabbitmqctl list_consumersは、すべてのサブスクリプションについて、チャネル、コンシューマータグ、確認応答が必要かどうか、プリフェッチの上限を一覧表示します。処理の遅いキューで高いプリフェッチを設定しているコンシューマーが、最初の容疑者です。

コンシューマー数の推移。Prometheusでは、値が集約されずにキューごとに報告されるようオブジェクト単位のメトリクスを有効にしたうえで、常に消費されているべきキューでrabbitmq_queue_consumersがゼロに落ちたとき、そして配信レートと確認応答レートが伴わないままrabbitmq_queue_messages_unackedが増えたときにアラートを出します。この2つのアラートで、タイムアウト、ブローカー起点のキャンセル、切れた接続のいずれが先に起きても検出できます。

コンシューマーのタイムアウトを防ぐ方法

タイムアウトを引き上げるのが正しい対処となるのは、処理に本当にそれだけの時間がかかる場合だけです。それ以外はクライアントの動作の問題です。

  • タイムアウトはキュー単位で決める。長時間のジョブを流すキューに、正当な処理時間の最大値に余裕を持たせたconsumer-timeoutを設定し、グローバルのデフォルトはそのままにしておきます。
  • 時間のかかる処理ではプリフェッチを小さくする。プリフェッチされたメッセージは、すべてタイムアウトのカウントがすでに始まっている配信です。プリフェッチが50で、ジョブ1件に1分かかる場合、31件目の配信はコンシューマーが処理を始める前の時点で30分以上保持されており、デフォルトのタイムアウトでチャネルが閉じられます。RabbitMQのprefetch countを参照してください。
  • 配信を受け取ったチャネルで確認応答する。例外処理の経路も含め、すべてのコードパスで確認応答してください。エラー分岐での確認応答漏れは、タイムアウトするまで配信を保持し続けるコンシューマーの最もよくある原因です。
  • チャネルのシャットダウンとキャンセル通知を処理する。チャネルのクローズやbasic.cancelを受けたら、新しいチャネルを開いて再びサブスクライブします。クライアントライブラリの自動接続リカバリーは切断された接続を再接続しますが、単一のチャネルのクローズやブローカー起点のキャンセルまで常にカバーするわけではありません。
  • 処理を冪等にする。タイムアウトした配信はキューに戻されて再配信されるため、90%まで終わっていたジョブが再び実行されます。どうしても時間内に終わらないメッセージは、再配信のループに置くのではなく、デッドレターキューに送るべきです。RabbitMQのデッドレターキューを参照してください。
  • キューの深さだけでなく、キューごとの未確認応答のメッセージとコンシューマー数にもアラートを設定する。常にコンシューマーがいるべきキューでコンシューマー数がゼロになることは、3つの障害モードすべてに共通する最も早いシグナルです。

こうしたパターンは、AceMQが対応するRabbitMQのサポートチケットで頻繁に見られます。クォーラムキューへの移行やメモリ上限の変更のあとに、アプリケーションは正常なのにコンシューマーが見当たらないと報告されるケースです。このような挙動を示すクラスターについて別の視点からの確認が必要であれば、AceMQのRabbitMQサポートが対応します。より幅広い診断の手順については、RabbitMQトラブルシューティングガイドで解説しています。

出典

よくある質問

RabbitMQのconsumer_timeoutとは何ですか?

配信の確認応答(ack)のタイムアウトです。コンシューマーが配信を受け取ったまま、タイムアウトを超えて確認応答しないでいると、RabbitMQはPRECONDITION_FAILEDチャネル例外でそのコンシューマーのチャネルを閉じ、未確認応答のメッセージはキューに戻されます。デフォルトは30分です。

RabbitMQのコンシューマータイムアウトのデフォルト値はいくつですか?

30分(1,800,000 ms)です。RabbitMQはタイムアウトを適用すべきかどうかを1分に1回チェックするため、1分未満の値はサポートされず、5分未満の値は推奨されません。

特定のキューだけコンシューマータイムアウトを変更するには?

RabbitMQ 3.12以降では、ポリシーでconsumer-timeoutキーを設定するか、キューの宣言時にx-consumer-timeout引数を指定します。どちらもミリ秒単位です。クラスター内のすべてのキューに効くグローバルなconsumer_timeoutを引き上げるよりも、キュー単位で設定するほうが安全です。

RabbitMQ 4.3では、consumer_timeoutはクラシックキューにも適用されますか?

いいえ。RabbitMQ 4.3以降、配信の確認応答タイムアウトはクォーラムキューでのみサポートされます。4.3では、クラシックキューのコンシューマーが配信を受け取ったまま保持し続けても、ブローカーがそのコンシューマーを閉じることはなくなりました。

RabbitMQのコンシューマータイムアウトを無効にできますか?

はい。advanced.configでconsumer_timeoutをundefinedに設定すれば無効にできますが、RabbitMQのドキュメントは推奨していません。たとえば数時間といった大きな値を設定すれば、長時間のジョブを止めることなく保護を維持できます。

アプリケーションは動いているのに、RabbitMQのコンシューマー数がゼロになるのはなぜですか?

たいていは次の3つのいずれかです。配信の確認応答タイムアウトによってコンシューマーのチャネルが閉じられた、キューが削除されたり利用できなくなったりしたためにブローカーがコンシューマーをキャンセルした、あるいはTCP接続が切れ、ハートビートの欠落を経て切断された、のいずれかです。チャネルを開き直して再サブスクライブしないクライアントは、接続したままで何も消費しなくなります。

Scott Sternloff

著者

Scott Sternloffシニアエンタープライズアーキテクト

AceMQのシニアエンタープライズアーキテクト。RabbitMQ、Kafka、Redisのアーキテクチャ、クラスタリング、移行といった技術記事を担当しています。

無料相談

お客様のRabbitMQ クラスターを専門家がチェックします

本番環境のインシデント対応、移行の計画、アーキテクチャのセカンドオピニオンなど、どのようなご相談にもAceMQのチームが対応します。売り込みは一切なく、ご質問に的確にお答えします。

メールで問い合わせる