On this page
簡短的答案:預設使用仲裁佇列,傳統佇列則保留給真正暫時性、高頻建立與刪除,且節點故障時遺失訊息可以接受的工作。這項建議已經適用好一段時間了,但背後的理由比規則本身更重要——因為真正讓團隊吃虧的,是那兩個例外與遷移成本。
這個問題在RabbitMQ 評估中經常出現,通常有兩種情況:一是接手了一個滿是傳統佇列的叢集,想知道轉換是否值得承受衝擊的維運人員;二是正在設計新系統、需要一個站得住腳之預設值的團隊。
三種佇列類型:從關鍵面向比較
RabbitMQ 有三種值得了解的儲存機制,而第三種根本不是佇列——這正是它常被誤用的原因。
決定多數設計的關鍵是Survives power loss(斷電後能否保留)這一列。仲裁佇列既會複寫,也會在多數節點上將每則訊息寫入磁碟,然後才向發布端確認。傳統佇列會在本機持久化,但沒有複寫,因此節點故障時,佇列也會跟著消失。串流會複寫,但確認前不會執行 fsync,這意味著它與 Kafka 有相同的風險——用於遙測資料沒問題,用於金流就不對了。
最常被誤解的是Reads(讀取)這一列。傳統佇列與仲裁佇列都是破壞性讀取:消費者取走訊息後,訊息就消失了。串流則是非破壞性讀取:訊息會保留下來,多個消費者可以各自依自己的位移(offset)獨立讀取同一段歷史。如果您發現自己想從佇列中重新讀取訊息,您需要的其實是串流。
為什麼仲裁佇列負擔得起 fsync
對仲裁佇列最常見的質疑是:每則訊息都寫入磁碟,想必很慢。事實並非如此,原因在於一項設計決策,值得深入了解,因為它也是 RabbitMQ 與 Kafka 之間最鮮明的技術差異。
仲裁佇列共用一個預寫日誌。一次寫入磁碟就能涵蓋要送往許多不同佇列的訊息,因此成本由整個訊息代理攤提,而不是由每個佇列各自負擔。正因如此,才能同時擁有大量佇列、搭配 fsync 的複寫,以及實際可用的吞吐量——這三項特性通常只能三選二。
Kafka 的做法正好相反:fsync 以分割區為單位進行,成本高到 Kafka 預設不建議啟用,而只依賴複寫。與其說這是缺陷,不如說是不同的取捨,但這代表一則已確認的 Kafka 訊息,其實是存在於多個 broker 的頁面快取(page cache)中,而不是在磁碟上。
還有第二個較不明顯的好處。仲裁佇列中的 Raft 涵蓋的是投遞狀態,而不只是訊息內容——包括哪則訊息已分派給哪個消費者,以及該消費者持有多少額度(credit)。發生 leader 容錯移轉後,新的 leader 會在狀態完整的情況下接手,而不是整批重新投遞。正是這項機制,才讓逐則訊息的 TTL、優先順序、延遲投遞與死信路由得以實現。
仲裁佇列如何提供持久性與容錯移轉
上述的 fsync 攤提機制,說明了為什麼仲裁佇列快到足以作為預設選擇;但它並未說明仲裁佇列如何在節點於運作中途停擺時存活下來——而這部分,正是在正式環境中倚賴它之前值得弄懂的。
一個仲裁佇列就是一個 Raft 群組:由奇數個成員組成,每個節點一個,任一時間點都有一個成員被選為 leader。leader 負責接收所有發布與消費者投遞;follower 則複寫 leader 的日誌,並在選舉中投票。當 leader 沒有回應時——無論是節點當機,還是被網路隔離——follower 會因錯過心跳而察覺,並等待一段隨機的選舉逾時時間,避免兩個 follower 同時發起選舉,最先取得多數選票者便成為新任期的 leader。整個過程不需要維運人員介入,除了重新連線之外,用戶端也不會察覺任何停機。
發布確認(publisher confirm)的真正含義:RabbitMQ 只有在訊息已寫入群組中多數成員(而不只是 leader)之後,才會回傳確認。對三成員的佇列而言,就是三個中的兩個。到了這一步,寫入就已具備持久性,即使存放第三個副本的節點再也無法恢復;失去它,損失的只是一個副本,而不是訊息本身。
這項多數要求,也決定了在不同故障數量下的可用性。以三個成員為例:失去一個時,剩下的兩個仍構成多數,因此佇列會繼續接受寫入,只是少了一個副本運作,直到缺少的節點恢復並從 Raft 日誌追上進度。失去兩個時,剩下的單一節點無法自行構成多數,因此佇列會依設計完全停止接受寫入,而不是冒險讓一個日誌不完整的成員,成為無人能反駁的唯一真實來源。這與叢集層級的pause_minority背後是同樣的邏輯,只是套用在每個佇列上。
這也是為什麼偶數個成員比表面上看起來更糟,而不只是多餘而已。四成員的佇列同樣只能容忍失去一個成員,再失去一個就只剩四個中的兩個存活,並不構成多數:您多加了一整個副本,承擔了它的 Raft 額外負擔與記憶體成本,換來的容錯能力卻與三成員完全相同。因此,成員數量一律應設為奇數。副本配置的原則與叢集節點配置相同:每個節點一個成員,分散在不同主機或可用區域,讓單一基礎架構故障無法同時拿下同一個佇列的兩個成員。
實例:將仲裁佇列用於金流處理
金流處理正是上述持久性模型所要服務的工作負載:每則訊息都很重要,同一帳戶內的順序很重要,而無聲無息的重複比緩慢的重試更糟。以下說明在這個特定情境下,各個環節如何組合在一起。
- 拓撲。採用三成員的仲裁佇列,每個可用區域一個節點,無須任何特殊處理,就能同時滿足持久性要求與整個可用區域故障的情境。這與我們高可用性、災難復原與叢集規模規劃指南中介紹的三可用區域模式相同;金流工作負載正是不該為了省下一個節點而縮減成單一可用區域的典型情境。
- 使用發布確認,而不是發送後就不管。發起付款的服務會先等待訊息代理回傳發布確認,再告知呼叫端付款已受理。基於上述的多數寫入保證,這個確認就代表付款指令在任何下游被告知之前,已持久保存在三個節點中的至少兩個上。
- 有上限的重試,搭配死信佇列。在佇列上設定
x-delivery-limit,讓一則持續在消費者處理中失敗的訊息不會無限循環。訊息用盡投遞次數後,請將它路由到專用的死信佇列,而不是直接丟棄。金流的 DLQ 應被視為一種告警狀態,而不是垃圾桶:任何進入其中的訊息,都需要人員或自動對帳作業來檢查,因為它代表一筆在前幾次嘗試中都沒有順利完成的付款。 - 以付款 ID 為鍵的冪等消費者。仲裁佇列與傳統佇列一樣,提供至少一次(at-least-once)投遞。再加上前述的投遞上限與 DLX,消費者可能會多次收到同一則付款訊息。請將消費者設計為:在再次套用交易之前,先檢查(或以 upsert 方式比對)已記錄為處理完成的付款 ID,讓重新投遞不會產生任何作用,而不是造成重複扣款或重複的分類帳記錄。
- 以單一活躍消費者確保結算順序。當同一帳戶內的結算順序很重要時(例如依序套用借方與貸方),請在佇列上設定
x-single-active-consumer,讓同一時間只有一個消費者實例處理該佇列,並在活躍消費者失效時自動容錯移轉到備援消費者。這是以部分吞吐量換取嚴格的佇列內順序,對資金流動而言,通常是正確的取捨。 - 監控項目。付款佇列本身的佇列深度與消費者延遲、DLQ 深度(應維持在接近零,任何持續成長都是事件)、每個消費者的重新投遞次數(呈上升趨勢代表消費者有錯誤,而非訊息代理健康狀況的問題),以及三個成員之間的副本同步狀態,以便在落後的副本成為唯一剩下的副本之前就發現它。若要了解單一佇列以外的模式,以及相同的持久性保證如何在更廣泛的事件驅動設計中組合運用,請參閱微服務的 exchange、佇列與 binding;若要全面了解 AceMQ 如何規劃金流等級的訊息傳遞設計,請參閱韌性與金流最佳化。
轉換後需要放棄什麼
大多數指引都停在「使用仲裁佇列」這一句。真正有用的,是那兩件確實會讓人踩坑的事。
- 每個佇列的記憶體用量較高。仲裁佇列帶有 Raft 狀態,占用的記憶體比傳統佇列多。如果您的設計中有數千個小型、短暫存在的佇列——這是常見的每工作階段或每請求一個佇列的模式——一次全部轉換,可能會讓叢集陷入原本不存在的記憶體壓力。這是出於好意的遷移最常引發事件的方式。
- 優先順序的運作方式不同。傳統佇列透過
x-max-priority實作優先順序。仲裁佇列處理優先順序的方式不同,也沒有提供完全相同的機制,因此行為依賴傳統優先順序語意的佇列,需要重新檢視其設計,而不是單純重新宣告。請在規劃遷移之前就找出這些佇列,而不是在遷移過程中才發現。
還有一個值得了解的硬性上限:仲裁佇列沒有分片。在啟用複寫與 fsync 的情況下,它的上限約為每秒 80,000 則訊息,而且無法將單一佇列拆分到多個節點上來提升速度。多個佇列的總吞吐量可以順利擴展,但單一極高流量的流程需要在應用程式層級分片——透過能分散負載的路由鍵,發布到 N 個佇列。我們在以下文章中說明了這項限制,以及它與 Kafka 分割區的比較:RabbitMQ 與 Kafka 比較。
如何選擇,以及轉換的實際成本
針對某個佇列,四個問題就能做出決定。
圖中的警示正是維運上的現實:佇列類型在宣告時就已固定。沒有原地轉換這回事。遷移意味著要宣告新的仲裁佇列、將發布端與消費者指向它、清空傳統佇列,並在清空後將其移除。在線上系統中,這是一項需要協調、並有清空期的變更,而不是修改一下設定。
行之有效的順序是:先轉換承載不容遺失工作的佇列,以小批次進行,並一路監看記憶體。真正暫時性的佇列就保留為傳統佇列。請克制一次全部轉換的衝動——那正是把一項安全性改善變成服務中斷的變更。
如果您正在評估是否要在大型環境中全面轉換,並希望在開始之前(而不是過程中)就找出記憶體與優先順序的陷阱,這正是RabbitMQ 健康檢查的例行項目——您也可以與 AceMQ 聯繫,討論範圍規劃。
這些選擇背後的許多觀念已經不再成立——請參閱RabbitMQ 迷思與真相。
佇列類型是RabbitMQ 叢集與規模規劃指南七項決策中的第二項;選錯佇列類型,也名列十大故障模式中的第四項,詳見可靠性指南。
常見問題
傳統佇列與仲裁佇列有什麼不同?
傳統佇列位於單一節點上,以逐則訊息的方式持久化;如果該節點故障,佇列及其內容在節點恢復前都無法使用。仲裁佇列則以 Raft 共識演算法複寫到奇數個節點上,並在多數副本將每則訊息寫入磁碟後,才向發布端確認。傳統佇列是本機的、適合快速建立與刪除;仲裁佇列是複寫的、安全可靠,凡是不容遺失的訊息,它都是建議的預設選擇。
仲裁佇列比傳統佇列慢嗎?
會慢一些,但差距比多數人預期的小。單一仲裁佇列在啟用複寫與 fsync 的情況下,約可達每秒 80,000 則訊息;傳統佇列因為兩者都不做,速度略高。仲裁佇列之所以能維持高速,是因為它們共用一個預寫日誌,一次 fsync 就能涵蓋多個佇列,成本是攤提的,而不是每個佇列各自負擔。
什麼情況下仍應使用傳統佇列?
當工作確實是暫時性、高頻建立與刪除的,而且節點故障時遺失訊息是可以接受的——例如快取失效廣播、短暫性通知,或反正會重新產生的暫存工作。傳統佇列每個佇列占用的記憶體也較少,如果您運行大量小型、短暫存在的佇列,這一點就很重要。
可以將傳統佇列原地轉換成仲裁佇列嗎?
不行。佇列類型在宣告時就已固定,因此轉換意味著要宣告新的仲裁佇列、將發布端與消費者移過去、清空傳統佇列,然後再將其移除。請把它當成一次有清空期的遷移來規劃。一次性轉換數千個佇列,正是最常出錯的遷移方式。
仲裁佇列支援訊息優先順序嗎?
支援方式不同。傳統佇列透過 x-max-priority 引數支援優先順序;仲裁佇列處理優先順序的方式不同,也沒有提供完全相同的機制,因此依賴傳統優先順序語意的佇列,需要重新檢視其設計,而不是直接轉換。這一點與每個佇列較高的記憶體用量,是團隊在遷移途中最常踩到的兩個坑。
仲裁佇列需要幾個節點?
奇數個,實務上的基準是三個——可容忍一個節點故障,同時仍保有多數。較大型的部署常用五個,可容忍兩個節點故障。超過五個之後,共識的額外負擔會增加,安全性卻沒有明顯提升,因此規模更大的叢集通常是出於仲裁需求以外的考量。
串流可以取代仲裁佇列嗎?
不行——它們解決的是不同的問題。串流是一種僅附加日誌,採用非破壞性讀取,消費訊息不會將其移除,多個消費者可以各自獨立讀取同一段歷史。仲裁佇列則是採用破壞性讀取、逐則訊息確認的工作佇列。串流在確認前也不會執行 fsync,因此其持久性保證較弱。
仲裁佇列能撐過節點故障嗎?
可以,這正是它的主要用途。仲裁佇列會先以 Raft 共識將每則訊息複寫到多數成員上,再確認發布,因此三成員的佇列在失去一個節點後仍能繼續運作,只有在失去第二個節點時才會停止接受寫入,因為三個成員中的兩個已無法連線。成員應以每個節點一個的方式,分散在不同主機或可用區域,讓單一基礎架構故障一次最多只會失去一個副本。
仲裁佇列能應付金流處理的吞吐量嗎?
單一仲裁佇列在啟用複寫與 fsync 的情況下,上限約為每秒 80,000 則訊息,遠高於多數金流工作負載對單一佇列的需求。如果某個特定流程需要更高的吞吐量,請透過路由鍵(routing key)分散到多個仲裁佇列,而不是期待單一佇列能進一步擴展,因為仲裁佇列內部並未分片。搭配發布確認(publisher confirms)、`x-delivery-limit`、死信處理與冪等消費者,吞吐量很少會成為金流的瓶頸;真正的關鍵是重試時的正確性。

