On this page
consumer_timeout 是 RabbitMQ 的傳遞確認逾時。如果消費者持有一筆傳遞而未確認的時間超過逾時值,RabbitMQ 就會以 PRECONDITION_FAILED 通道例外關閉該消費者的通道,未確認的訊息則會回到佇列等待重新傳遞。預設值為 30 分鐘。自 RabbitMQ 4.3 起,它只適用於仲裁佇列(quorum queues)。
它只適用於手動確認模式的消費者,這也是 AMQP 0-9-1 用戶端在訊息不能遺失時的常見設定:broker 交出一筆傳遞後,會等待消費者確認已處理完畢的訊息。設計這個逾時的目的,是抓出取走訊息後就卡住的消費者,讓工作重新排入佇列,而不是被無限期持有。但它也會抓到工作本來就需要超過 30 分鐘的健康消費者,而大部分的困惑正是從這裡開始:應用程式仍在執行、連線仍然開啟,管理介面中的消費者數量卻悄悄降到了零。
消費者逾時錯誤長什麼樣子
broker 會記錄通道關閉事件,並附上 consumer tag、通道、佇列與 delivery tag。RabbitMQ 文件中的訊息如下:
Consumer 'consumer-tag-998754663370' on channel 1 and queue 'qq.1' in vhost '/' has timed out
waiting for a consumer acknowledgement of a delivery with delivery tag = 10. Timeout used: 180000 ms.在用戶端,它會以帶有 PRECONDITION_FAILED 的通道例外出現。由於它關閉的是通道而不是連線,除非有處理通道關閉事件,否則用戶端函式庫通常會維持連線,也不會記錄任何明顯的訊息。此時佇列會再次將這些訊息顯示為 ready,它們會帶著 redelivered 旗標被重新傳遞,而那個緩慢的工作可能會被執行兩次。
RabbitMQ 消費者停止消費的三個原因
逾時只是消費者在應用程式沒有要求的情況下停止消費的三種方式之一。它們在管理介面中看起來一模一樣,卻需要不同的解法:
- 確認逾時關閉了通道。上述的日誌行會出現,連線維持正常,消費者卻消失了。原因是工作花了太久的時間,或是消費者卡住了。
- broker 取消了消費者。當佇列被刪除,或承載佇列的節點故障時,RabbitMQ 會向用戶端傳送非同步的
basic.cancel。用戶端會宣告支援consumer_cancel_notify能力(RabbitMQ 官方用戶端預設即會宣告),用戶端函式庫則會透過回呼函式通知應用程式,例如 Java 用戶端中的handleCancel。如果應用程式忽略這個回呼,就會留下一個上面沒有任何消費者的通道。 - 連線中斷了。負載平衡器、防火牆或 NAT 閘道斷開了閒置的 TCP 連線,或是用戶端處理程序凍結了。心跳機制可以偵測到這種情況:建議的預設值為 60 秒,連續錯過兩次心跳後,對端就會被視為無法連線。TCP keepalive 也能在作業系統層級達到同樣的效果。
檢查的順序是:先看 broker 日誌,再看用戶端的通道與取消回呼,最後才是網路。broker 日誌只需幾秒鐘,就能告訴您是三者中的哪一種。
consumer_timeout 設定:全域、逐佇列或停用
在 RabbitMQ 設定檔 rabbitmq.conf 中以毫秒為單位設定全域逾時值:
# one hour
consumer_timeout = 3600000自 RabbitMQ 3.12 起,可透過 policy 或佇列參數逐佇列設定。policy 是較好的工具,因為不需要重新部署應用程式就能修改:
rabbitmqctl set_policy queue_consumer_timeout "with_delivery_timeout\.*" '{"consumer-timeout":3600000}' --apply-to quorum_queues佇列參數為 x-consumer-timeout,於宣告時設定,單位同樣是毫秒。
RabbitMQ 每分鐘評估一次逾時,因此不支援低於一分鐘的值,也不建議使用低於五分鐘的值。您可以在 advanced.config 中將 consumer_timeout 設為 undefined 來停用它,但文件建議設定一個較高的值(幾個小時),而不是將它關閉。
RabbitMQ 4.3 的變更:僅限仲裁佇列
自 RabbitMQ 4.3 起,只有仲裁佇列支援傳遞確認逾時。這帶來兩個後果:
- 傳統佇列的消費者失去了保護。從傳統佇列(classic queue)取走訊息後卡住的消費者,會一直持有該訊息,直到通道或連線關閉為止。如果您過去仰賴逾時來回收卡住的傳統佇列消費者,現在就需要改用用戶端逾時或監控。
- 改用仲裁佇列可能會啟用它。一個原本在傳統佇列上順利執行長達一小時工作的工作負載,在遷移到仲裁佇列後,可能會開始出現
PRECONDITION_FAILED通道關閉。請在遷移過程中就為這些佇列設定逐佇列的consumer-timeout,而不是等到第一次事件發生後才處理。
更廣泛的佇列類型差異,請參閱從傳統佇列遷移到仲裁佇列。
如何在逾時之前偵測卡住的消費者
即將觸發逾時的消費者,從外部看起來完全健康:已連線、已訂閱,而且有訊息正在處理中。以下三項檢查能及早發現。
停滯不動的未確認訊息。比較每個佇列的 ready 訊息數、未確認訊息數與消費者數量:
rabbitmqctl list_queues -p / name messages_ready messages_unacknowledged consumers consumer_utilisation如果某個佇列的 messages_unacknowledged 維持不變,而 messages_ready 卻不斷增加,就代表有消費者持有傳遞卻遲遲沒有處理完。在有積壓的佇列上,consumer_utilisation 遠低於 1.0,則從另一面說明同一件事:佇列有訊息卻無法傳遞出去,因為消費者已達到 prefetch 上限。
是哪些消費者持有這些訊息。rabbitmqctl list_consumers 會列出每一個訂閱,以及其通道、consumer tag、是否需要確認與 prefetch 上限。在緩慢的佇列上設定高 prefetch 的消費者,就是頭號嫌疑犯。
消費者數量隨時間的變化。在 Prometheus 中啟用逐物件指標,讓數值依佇列回報而非彙總後,針對應該持續有人消費的佇列,在 rabbitmq_queue_consumers 降到零時發出告警;並在 rabbitmq_queue_messages_unacked 上升、而傳遞與確認速率卻沒有相應上升時發出告警。這兩項告警能抓到逾時、broker 發起的取消與連線中斷,無論哪一種先發生。
如何避免消費者逾時
只有在工作確實需要那麼久時,調高逾時才是正確的解法。其餘都屬於用戶端的行為:
- 逐佇列設定逾時。在承載長時間工作的佇列上設定
consumer-timeout,比最長的合理處理時間多留一些餘裕,並維持全域預設值不變。 - 處理緩慢的工作時,保持較低的 prefetch。每一則預先取得的訊息,都已經是逾時正在計時的傳遞。若 prefetch 為 50、每項工作耗時一分鐘,第 31 筆傳遞在消費者開始處理之前就已被持有超過 30 分鐘,通道會在預設逾時時被關閉。請參閱 RabbitMQ prefetch count。
- 在收到傳遞的同一個通道上確認,而且每一條程式碼路徑都要確認,包括例外處理路徑。錯誤分支中漏掉的 ack,是消費者持有傳遞直到逾時的最常見原因。
- 處理通道關閉與取消通知。遇到通道關閉或
basic.cancel時,開啟新的通道並重新訂閱。用戶端函式庫中的自動連線復原會重新建立中斷的連線,但不一定能涵蓋單一被關閉的通道,或 broker 發起的取消。 - 讓處理具備冪等性。逾時的傳遞會重新排入佇列並重新傳遞,因此一個已完成 90% 的工作會重新執行一次。永遠無法及時完成的訊息,應該進入 dead letter queue,而不是陷入重新傳遞的迴圈;請參閱 RabbitMQ dead letter queue。
- 針對每個佇列的未確認訊息與消費者數量設定告警,而不只是佇列深度。應該持續有消費者的佇列,消費者數量變成零,是三種故障模式中最早出現的訊號。
這些模式經常出現在我們處理的 RabbitMQ 技術支援工單中:應用程式運作正常,消費者卻被回報為消失,通常發生在遷移到仲裁佇列或變更記憶體上限之後。如果您需要有人協助檢視出現這種狀況的叢集,AceMQ RabbitMQ 技術支援可以提供協助,而 RabbitMQ 故障排除指南則涵蓋了更完整的診斷路徑。
資料來源
常見問題
RabbitMQ 的 consumer_timeout 是什麼?
它是傳遞確認(delivery acknowledgement)逾時。如果消費者持有一筆傳遞而未確認的時間超過逾時值,RabbitMQ 就會以 PRECONDITION_FAILED 通道例外關閉該消費者的通道,未確認的訊息則會回到佇列。預設值為 30 分鐘。
RabbitMQ 消費者逾時的預設值是多少?
30 分鐘(1,800,000 ms)。RabbitMQ 每分鐘檢查一次是否要執行逾時,因此不支援低於一分鐘的值,也不建議使用低於五分鐘的值。
如何只針對單一佇列變更消費者逾時?
自 RabbitMQ 3.12 起,可在 policy 中設定 consumer-timeout 鍵,或在宣告佇列時設定 x-consumer-timeout 參數,兩者的單位都是毫秒。逐佇列設定比調高整個叢集所有佇列適用的全域 consumer_timeout 更安全。
RabbitMQ 4.3 的 consumer_timeout 適用於傳統佇列嗎?
不適用。自 RabbitMQ 4.3 起,只有仲裁佇列支援傳遞確認逾時。在 4.3 上,無限期持有傳遞的傳統佇列消費者,不會再被 broker 關閉。
可以停用 RabbitMQ 的消費者逾時嗎?
可以,在 advanced.config 中將 consumer_timeout 設為 undefined 即可,但 RabbitMQ 文件不建議這麼做。設定一個較高的值(例如幾個小時),既能保留保護機制,又不會中斷長時間執行的工作。
為什麼應用程式仍在執行,RabbitMQ 的消費者數量卻降到零?
通常是以下三種情況之一:傳遞確認逾時關閉了消費者的通道;broker 因佇列被刪除或無法使用而取消了消費者;或是 TCP 連線中斷,並在錯過心跳後被斷開。不會重新開啟通道並重新訂閱的用戶端,會維持連線狀態,卻什麼都不消費。
Talk to an engineer
Need a hand with RabbitMQ?
Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.

