On this page
在所有影響 RabbitMQ 消費者效能的調校參數中,prefetch count 是效果最顯著的一個——也是正式環境中最常被設錯的一個。我們接手過無數企業 RabbitMQ 專案,遇到吞吐量被封頂、消費者使用率卡在 60%、消費者 pod 記憶體暴增,或叢集在原本應能輕鬆承受的負載下就進入流量控制(flow control)——而其中有相當比例的案例,根本原因都可以追溯到 prefetch 被設為零、維持預設值,或是直接從為其他工作負載撰寫的教學中複製貼上。
prefetch 看似簡單,它只是一個整數。但它決定了幾組根本性的取捨:消費者吞吐量與消費者記憶體壓力之間、延遲與確認負擔之間,以及能吸收突發流量的消費者與無法吸收的消費者之間。對即時、高吞吐量的 RabbitMQ 叢集而言——例如支撐交易平台、IoT 資料擷取管線、支付處理系統,以及任何以每秒訊息數計算、以毫秒衡量 SLA 的系統——把 prefetch 設對並不是可有可無的事。它正是能擴展的叢集與無法擴展的叢集之間的分野。
prefetch count 實際上做了什麼
在協定層級,prefetch count 就是 AMQP 0-9-1 的 basic.qos 參數。它告訴 broker:「同一時間不要送給我超過 N 則尚未確認的訊息。」當消費者連線並訂閱某個佇列後,broker 就會開始把訊息推送給該消費者,直到達到 prefetch 上限。消費者每確認一則訊息,broker 就會補送一則。在任何時刻,消費者的處理中緩衝區最多只會有 prefetch_count 則訊息。
實務上有三種 prefetch 模式:
- Prefetch = 0(無上限)。broker 會盡可能快速地推送訊息,消費者則緩衝 broker 送來的所有訊息。這看起來很快,直到它不再快為止——消費者記憶體爆量、確認延遲,系統在負載下變得無法預測。
- Prefetch = 1。broker 送出一則訊息,等待確認,再送出下一則。大多數教學示範的都是這種設定。對高吞吐量工作負載而言,它慢得災難性,因為每一則訊息都要付出一次完整的往返延遲成本。
- Prefetch = N(合理的數值)。消費者同時處理一批 N 則處理中的訊息,broker 以穩定的補送流量走在消費者前面,吞吐量的上限取決於消費者的處理速度,而不是網路往返時間。
目標永遠是第三種模式。問題在於 N 應該是多少,而答案取決於您的工作負載的程度,遠超過大多數團隊的想像。
專家觀點:高吞吐量工作負載該從哪裡開始
- Prefetch = 1。扼殺吞吐量。您的消費者永遠無法飽和。一定要先修正這一點。
- Prefetch = 0(無上限)。在測試環境中運作良好。但只要消費者第一次跟不上發布者,就會變成正式環境事故。
- Prefetch = 10,000。有人讀到「設越高吞吐量越好」,就照字面執行。消費者緩衝 10,000 則訊息、確認延遲、記憶體攀升,在負載下整個系統變得無法預測。
「如果您的 prefetch count 設成零,代表您用的是無上限。這也可以——但因為您的吞吐量非常大,我會建議直接設成 100、200 左右。」
— Felipe Gutierrez,AceMQ 資深工程師(摘自 AceMQ 一次為大流量企業 RabbitMQ 部署診斷消費者確認失敗的專案)
這是我們針對高吞吐量工作負載的標準起始建議,而且背後有具體的工程理由。100–200 的 prefetch 能給 broker 足夠的管線深度,讓消費者保持飽和——消費者永遠不必等待下一則訊息——同時又不會讓數千則尚未處理的處理中訊息塞爆消費者的記憶體。這是大多數即時工作負載的甜蜜點;我們會從這裡開始,再依指標實際顯示的結果往上或往下調整。
錯誤的答案,依我們看到的頻率排序:
為什麼 prefetch 在大規模下如此重要
它控制消費者的容量使用率
RabbitMQ 會在管理介面中回報一項「consumer capacity」指標,顯示消費者有多少比例的時間在實際處理訊息,而不是在等待更多訊息抵達。調校良好的消費者會以 100% 的 capacity 運作——它永遠都在工作。prefetch 設得太低的消費者,capacity 則停留在 40%、60%、80%,因為它花了可量測的時間在網路上等待下一則訊息。這些閒置時間,就是您付了錢卻沒拿到的吞吐量。
Felipe 對此有一條具體的維運規則:如果 consumer capacity 低於 100%,代表消費者跟不上訊息流量,就必須通知開發人員。原因可能是 prefetch 設錯、消費者處理太慢,或是需要更多消費者執行個體。不論是哪一種,第一個要檢查的都是 prefetch。
它決定流量控制的行為
RabbitMQ 有一套流量控制機制,會在消費者跟不上時限制發布者的速度。這是一道安全閥——能防止 broker 累積無上限的積壓——但它同時也是上游某處失調的訊號。prefetch 調校正確時,消費者會以線速清空佇列,流量控制很少啟動。prefetch 太低時,佇列在負載下開始積壓、broker 進入流量控制、發布者被阻擋,整個系統的延遲特性隨之改變。
在高吞吐量下,「一切正常」與「生產者被阻擋」之間的距離,可能就只差一個選錯的 prefetch 值。
它與仲裁佇列的 Raft 行為交互影響
對於仲裁佇列(quorum queues)——2026 年大多數企業 RabbitMQ 部署採用的佇列類型——prefetch 的交互影響更加關鍵。如果您還沒完成仲裁佇列遷移,現在正是時候。仲裁佇列採用 Raft 共識機制,這代表每一次確認都是一次寫入多數節點的 Raft 日誌操作。在仲裁佇列上把 prefetch 設為 1,會讓每一則訊息都經歷一次 Raft 往返,吞吐量因此一落千丈。prefetch 設為 100 或 200,則能讓 broker 把確認批次提交到 Raft 日誌,效率大幅提升。
我們見過工作負載在仲裁佇列上完成一輪 prefetch 調校後,持續吞吐量提升為兩倍甚至三倍。這個道理一點也不隱晦:每則訊息的 Raft 提交次數越少,每秒能處理的訊息就越多。
Global 與個別 prefetch:一段至今仍有影響的歷史
在 RabbitMQ 3.x 中,用戶端函式庫可以設定兩種不同的 prefetch 模式:global 與個別(individual)。global prefetch 套用於通道上的所有消費者——如果您把 global prefetch 設為 1,000,而該通道上有 5 個消費者,每個消費者實際上只能分到 200。個別 prefetch 則依消費者套用,所以 prefetch 設為 1,000,就代表每個消費者都可以有 1,000 則處理中的訊息。
在 RabbitMQ 4.x 中,prefetch 的相關語意已經釐清並簡化,但底層的取捨依然存在。如果您的架構會在單一通道上啟動多個消費者,就必須了解您的用戶端函式庫是依消費者還是依通道設定 prefetch,因為實際的處理中訊息數量會截然不同。
實務建議是:在高吞吐量的正式環境系統中,優先採用依消費者計算的 prefetch 語意,並讓每個通道只有一個消費者。這能讓每個消費者的記憶體與吞吐量行為都可以預測,並在增加消費者執行個體時線性擴展。這也讓容量問題的除錯簡單得多,因為每個消費者的效能範圍彼此獨立。
如何針對您的工作負載實際調校 prefetch
沒有放諸四海皆準的 prefetch 值。不過,有一套方法能比憑空猜測更快地幫您找到適合自身工作負載的數值。
步驟 1:從 100 開始
對於任何尚未實測過的高吞吐量 RabbitMQ 工作負載,請先把 prefetch 設為 100。這個值幾乎不會錯得離譜。它高到足以讓 broker 到消費者的路徑形成管線,又低到能把消費者的記憶體壓力控制在一定範圍內,還能給您一個可量測、可據以調校的基準。
步驟 2:在具代表性的負載下量測 consumer capacity
- 如果 consumer capacity 低於 100%,prefetch 可能太低——消費者正在等待訊息。
- 如果消費者記憶體持續攀升、確認也跟著延遲,prefetch 可能太高——消費者緩衝的訊息超過它能處理的量。
- 如果 capacity 維持在 100%、記憶體也很穩定,prefetch 就是正確的。不要再動它。
讓具代表性的負載流經佇列,並在 RabbitMQ 管理介面中觀察 consumer capacity 指標,同時也觀察消費者的記憶體用量。若要取得叢集層級的可視性,請參考我們的 Kubernetes RabbitMQ 監控指南。您要找的是以下三種情況:
步驟 3:以有意義的幅度調整
如果需要往上調,可以試 200,再試 500。不要從 100 直接跳到 10,000——prefetch 與吞吐量之間並不是線性關係。每次加倍,一開始應該都能看到可量測的吞吐量提升,接著效益遞減,最後當消費者開始被自己的緩衝區拖累時,甚至會出現負效益。
步驟 4:把訊息大小納入考量
prefetch 為 200、訊息大小 1KB 時,每個消費者的處理中記憶體是 200KB。prefetch 為 200、訊息大小 1MB 時,每個消費者的處理中記憶體就是 200MB。如果您的訊息很大——在即時管線中往往如此——prefetch 就必須比小訊息的情況更低。請以 prefetch_count × p99_message_size 計算最大處理中記憶體,並據此配置消費者記憶體。在訊息大小差異很大的環境中,千萬別忘了這項計算。
步驟 5:在故障邊界進行測試
正確的 prefetch 值,必須在穩定負載下表現良好,在復原情境中「也」表現良好。模擬佇列仍有積壓時某個消費者停機的情況。替代的消費者啟動後,能否以預期速率順利清空積壓?還是它的 prefetch 設定讓它吃不飽或被塞爆?在穩定狀態下看起來沒問題的 prefetch 值,可能在容錯移轉期間行為失常,而那正是您最需要它正常運作的時候。
訊息大小陷阱:為什麼光靠 prefetch 不夠
我們在高吞吐量 RabbitMQ 部署中最常看到的維運陷阱之一,就是在真正的問題出在訊息大小時,仍把 prefetch 當成唯一的調整旋鈕。RabbitMQ 是訊息代理,不是資料庫——也不是檔案傳輸系統。
我們看過一些正式環境的 RabbitMQ 部署,維運人員抱怨吞吐量「莫名其妙」被封頂在預期速率的一小部分,調查後才發現應用程式把數 MB 大小的 PDF、影片片段或序列化的資料庫快照當成訊息 payload 傳送。再怎麼調校 prefetch 都解決不了這個問題。broker 只是在做被要求做的事——只是它被要求做了不該做的事。
架構上的原則是:讓 RabbitMQ 訊息保持小巧。RabbitMQ 架構審查可以協助找出 payload 大小在哪些地方拖累了您的吞吐量。如果需要在系統中傳遞大型 payload,請把它寫入物件儲存,再透過 RabbitMQ 傳送參照。即使 prefetch 設定完全相同,4KB 的訊息在叢集中的傳遞速度也比 4MB 的訊息快上好幾個數量級,原因如下:
- 較小的訊息,每則占用的網路頻寬較少。
- 較小的訊息,在 broker 與消費者緩衝區中占用的記憶體都較少。
- 較小的訊息,在仲裁佇列中寫入磁碟的速度較快。
- 較小的訊息,複寫到 Raft follower 的速度較快。
嚴格來說,這不是 prefetch 的問題。但任何關於為高吞吐量即時系統調校 prefetch 的討論,都必須包含訊息大小的盤點,因為在 4MB 訊息的管線上調校 prefetch,是在錯誤的層級做最佳化。
何時應該重新檢視 prefetch
prefetch 並不是設定一次就能置之不理的參數。在以下情況時,請重新檢視您的 prefetch 設定:
- 吞吐量需求改變時。訊息量成長 10 倍,往往代表在舊規模下沒問題的 prefetch,在新規模下就錯了。
- 訊息大小的分布改變時。會傳送較大訊息的新應用程式功能,會改變記憶體的計算。
- 遷移到仲裁佇列時。Raft 提交的負擔會改變最佳的 prefetch 值,通常是往上調。
- 變更消費者架構時。從單一通道上有 N 個消費者,改為 N 個消費者各自使用自己的通道,prefetch 的計算方式會完全不同。
- 在負載下看到 consumer capacity 低於 100% 時。這是 prefetch、消費者與 broker 這條管線中某處失調最明確的單一訊號。
- 在不該觸發的負載下看到流量控制啟動時。流量控制是 broker 在告訴您消費者跟不上。prefetch 是最先應該檢查的地方之一。
實務重點整理
prefetch 是 RabbitMQ 中槓桿效果最大的消費者端調校參數。在高吞吐量下設錯它,看起來就像莫名的容量上限、無法預測的記憶體行為、在不該觸發的負載下出現流量控制事件,以及寫著「RabbitMQ 感覺很慢」、卻指不出具體原因的支援工單。
設對它,看起來就像什麼事都沒發生,而這正是您想要的:消費者維持 100% capacity、記憶體穩定、延遲有上限,而且在增加消費者執行個體時,吞吐量能夠可預期地擴展。
如果您今天就要建置新的即時 RabbitMQ 工作負載,需要一個起點,又沒有時間做完整調校:prefetch = 100、依消費者計算、每個通道一個消費者。量測 consumer capacity,再從那裡調整,並在動任何其他調校參數之前先盤點訊息大小。這一項建議只要一致地套用,就能預防我們受邀診斷的效能問題中相當大的一部分。
對於挑戰極限的工作負載——每秒數十萬則訊息、10ms 以下的 SLA、金融等級的持久性——調校會更加細緻,與仲裁佇列、Raft 及消費者架構之間的交互影響也需要更多關注。但起點相同,方法也相同:從 100 開始、量測、調整,並讓訊息保持小巧。
正在調校高吞吐量 RabbitMQ 叢集卻碰到天花板?
AceMQ 的工程團隊調校過在極端條件下運行的 RabbitMQ 叢集——交易平台、支付系統、全球醫療資料管線,以及每秒處理數十萬則訊息的即時分析環境。prefetch 只是拼圖中的一塊。如果您的叢集效能被壓在應有水準之下,我們可以追查瓶頸所在——broker、消費者、佇列類型、網路、磁碟——讓您重回線性擴展。
無論您是要建置新的高吞吐量工作負載、希望從一開始就把架構與調校做對,還是現有叢集的效能未達應有水準,都歡迎與我們的團隊洽談效能評估。我們為全球企業客戶提供 RabbitMQ 顧問服務、RabbitMQ 商業技術支援,以及深入的 RabbitMQ 疑難排解——這就是我們唯一專注的事。
Prefetch count:簡短解答
prefetch count 是 RabbitMQ 在停下來等待確認之前,最多會推送給一個消費者(或一個通道)的未確認訊息數量。其他一切都由這一個限制延伸而來。
從哪裡開始。對大多數工作負載而言,請把 prefetch 設在 10 到 30 之間,再實際量測。需要跨消費者的嚴格順序,或每則訊息需要數秒才能處理完時,請使用 1,因為任何更大的值都會把工作擱在一個暫時處理不到的消費者身上。只有在消費者快速、具冪等性,且負載測試已確認消費者主機有足夠記憶體餘裕時,才調高到 100 到 300 的範圍。消費者一旦飽和,設得更大並不會更快;只是把積壓從 broker 搬到用戶端而已。
為什麼 0 最容易出問題。prefetch 為 0 代表無上限。broker 會把所有就緒的訊息推送給第一個開啟通道的消費者,於是一個消費者霸占了整個佇列,其他消費者則閒置。我們接到的消費者端記憶體壓力案例,大多也是這個設定造成的:佇列的內容全部湧向單一行程,而這個行程確認的速度跟不上,最後開始大量 swap 或被強制終止。如果佇列看起來是空的,吞吐量卻很差,而且有一個消費者的 CPU 卡在 100%,請先檢查 prefetch 是否為 0。
prefetch 只對手動確認的消費者有意義。使用自動確認(auto-ack)時,broker 會在訊息送出的那一刻就視為已確認,因此永遠不會有任何未確認的訊息計入上限。對自動確認的消費者設定 prefetch 沒有任何作用。
仲裁佇列與 streams 不是傳統佇列。仲裁佇列會遵守 prefetch,但也會追蹤每則訊息的投遞次數,並強制執行 delivery-limit(4.x 預設為 20)。prefetch 很大的消費者當機時,會把所有未確認的訊息退回,並遞增其投遞次數,所以只要重新啟動幾次,就可能讓從未出錯的訊息被送入死信。streams 又是另一回事。透過 stream 協定時,流量控制採額度制,而不是 prefetch 制。透過 AMQP 0-9-1 時,stream 消費者必須設定非零的 prefetch 並使用手動確認,而確認並不會刪除任何東西;它只是歸還額度,讓 broker 送出更多訊息。更完整的比較請見傳統佇列與仲裁佇列比較。
負載測試中 prefetch「沒有作用」的三個原因。第一,消費者使用自動確認,設定被忽略。第二,global 旗標:在 RabbitMQ 中,global=false 限制的是每個消費者,global=true 限制的是整個通道,而有些用戶端函式庫對這個旗標的預設值或解讀方式不同。第三,用戶端框架在您的程式碼執行之後才套用自己的預設值(通常是 1,有時是 250),或套用在與您設定的不同的通道上。請以 rabbitmqctl list_consumers 驗證實際生效的值,而不要只相信程式碼。
prefetch 是RabbitMQ 可靠性指南十種模式中的第五種,也是叢集與容量規劃指南的第七步,後者涵蓋了同一個吞吐量問題在叢集端的另一半。
常見問題
RabbitMQ 的 prefetch count 設多少比較好?
一般消費者先從 10 到 30 開始,再透過負載測試調整。執行時間長的任務,或跨消費者的順序很重要時,請使用 1。100 到 300 則保留給快速、具冪等性的消費者,而且前提是您已實測確認用戶端主機有足夠的記憶體餘裕,能容納這麼多處理中的訊息。正式環境中絕對不要維持 0;0 代表無上限,這也是單一消費者霸占整個佇列、其他消費者閒置的最常見原因。正確的數字,是能讓消費者保持忙碌的最小值。
為什麼我的 RabbitMQ prefetch count 沒有作用?
我們調查過的案例,幾乎都可以歸結為三個原因。消費者使用自動確認(auto-ack),所以 prefetch 完全被忽略。global 旗標的設定與您的預期相反,導致限制是套用在每個通道而非每個消費者,或正好相反。或是用戶端框架在您的程式碼執行之後才套用自己的預設值,或套用在與您設定的不同的通道上。請以 rabbitmqctl list_consumers 確認實際生效的值。如果仍然不正常,RabbitMQ 10 大疑難排解問題一文涵蓋了相關的故障模式。
prefetch count 適用於仲裁佇列與 streams 嗎?
仲裁佇列對 prefetch 的處理與傳統佇列完全相同,只多了一點:每次重新投遞都會遞增該訊息的投遞次數,一旦超過 delivery-limit,訊息就會被送入死信或直接丟棄。prefetch 很大的消費者如果當機,會一次讓大量訊息逼近這個上限,因此仲裁佇列上的 prefetch 請保持適中。透過 AMQP 0-9-1 使用 streams 時,必須設定非零的 prefetch 並使用手動確認,但確認只會歸還額度(credit),並不會移除訊息。若使用原生的 stream 協定,流量控制採額度制,根本不是 prefetch 的模型。
prefetch 應該依通道設定,還是依消費者設定?
幾乎在所有情況下都應該依消費者設定。在 RabbitMQ 中,global=false(多數用戶端的預設值)會把限制個別套用到每個消費者,這符合大家的預期,也讓調校結果可以預測。global=true 則會對該通道上的所有消費者套用一個共用的限制,只有在同一通道上的多個消費者需要共享固定的處理中訊息額度時才有用。如果兩者都設定,broker 會同時強制執行兩者。我們在託管技術支援中接手 RabbitMQ 3.8 到 4.x 的環境時,檢查這個旗標是最先做的事情之一,因為它能解釋為數驚人的吞吐量問題。

