本頁內容
一段話看懂 stream
一段話看懂 stream
Stream 是一種經過複寫、只能附加寫入的日誌,消費者讀取時不會移除訊息。適合扇出、重播、高傳輸量與大量積壓的情境;若需要死信處理、TTL、優先順序或 fsync 等級的持久性,請改用仲裁佇列。宣告時將 x-queue-type 設為 stream,第一天就設定 max-age 或 max-length-bytes,為每個消費者設定 prefetch 與 offset,在奇數個節點上執行,自行管理副本,並記住 confirm 代表的是已複寫,而不是已寫入磁碟。
什麼是 RabbitMQ stream
Stream 是一種持久化、經過複寫、只能附加寫入的日誌,在 RabbitMQ 中與傳統佇列及仲裁佇列並列。差別在於訊息如何離開它:訊息根本不會離開。從佇列消費會移除訊息;從 stream 消費只會移動該消費者的位置,因此任意數量的消費者都能讀取相同的訊息,想讀幾次就讀幾次,直到保留設定讓訊息過期為止。RabbitMQ 文件將此稱為非破壞性的消費者語意。Stream 一律是持久化且經過複寫的,沒有暫存(transient)版本。
何時該用 stream,何時不該用
Stream 是為了佇列類型處理不好的四種情境而打造的:大規模扇出(許多消費者讀取相同的訊息,而不必各自擁有一個佇列)、重播(從日誌的任意位置接入並從該處開始讀取)、傳輸量(設計目標就是與以日誌為基礎的系統競爭),以及大量積壓(佇列的最佳化方向是盡快清空;stream 則能以極少的記憶體儲存數百萬則訊息)。
當您需要佇列功能時,stream 就是錯誤的選擇。Stream 不支援死信 exchange、訊息 TTL、佇列長度上限、訊息或消費者優先順序、獨占(exclusive)或非持久化宣告,而且文件明確指出,由於非破壞性讀取模型,其中許多功能永遠不會支援。如果工作負載是需要重試與死信處理的工作分派,那就該用仲裁佇列。
RabbitMQ stream 與佇列並列比較:
| 佇列(仲裁或傳統) | Stream | |
|---|---|---|
| 訊息讀取方式 | 破壞性:訊息經確認後即被移除 | 非破壞性:消費者從某個 offset 讀取,訊息仍保留 |
| 多個消費者讀取相同資料 | 每個消費者一個佇列,各自持有一份副本 | 一個 stream,消費者數量不限 |
| 重播 | 不支援 | 支援,可從仍在保留範圍內的任何 offset 開始 |
| 訊息保留多久 | 直到被消費,或被 TTL 或長度上限移除 | 直到 max-age 或 max-length-bytes 讓訊息過期 |
| 死信處理、訊息 TTL、優先順序 | 仲裁佇列支援 | 不支援 |
| 大量積壓 | 設計目標是盡快清空 | 設計上可容納數百萬則訊息 |
宣告 stream 與設定保留
宣告佇列時,將 x-queue-type 參數設為 stream。類型必須由用戶端在宣告時指定,無法透過 policy 設定或變更。Stream 仍然是 AMQP 0.9.1 佇列,因此可以像佇列一樣繫結到任何 exchange。
第一天就要設定保留,因為只能附加寫入的日誌會一直成長,直到磁碟寫滿。有兩項設定可以併用,也都能透過 policy 變更:max-age(單位為 Y、M、D、h、m、s,因此 7D 代表一週)與 max-length-bytes。保留是以 segment 檔案為單位評估,預設 segment 大小為 500 MB,因此 stream 至少會保留一個 segment,實際用量最多會超出設定上限一個 segment。磁碟容量請以上限加上每個 stream 一個 segment 來規劃,而不是只看上限。
消費:offset、prefetch 與確認
消費者以 x-stream-offset 參數選擇起始位置:first、last(最後寫入的 chunk)、next(預設值:只讀取新訊息)、數字 offset、時間戳記,或像 1h 這樣的時間間隔。時間戳記會對齊到 chunk 邊界,因此消費者可能會收到比指定時間稍早發布的訊息。
有兩條規則常讓從佇列轉過來的團隊踩雷。消費者必須設定 QoS prefetch,而且必須確認(ack):在 stream 上,ack 的作用是一種額度(credit),用來推進消費者的 offset。此外,不支援全域 QoS;在設有全域 prefetch 的 channel 上從 stream 消費,會傳回 channel 錯誤。請使用以消費者為單位的 prefetch。
AMQP 0.9.1 還是 stream 協定
任何能傳遞佇列與消費者參數的 AMQP 0.9.1 用戶端都能使用 stream。不過 RabbitMQ 團隊仍建議使用專屬的二進位 stream 協定及其用戶端,理由有二:它能提供最佳傳輸量,而且部分功能只在這個協定上提供。代理端的 offset 追蹤就是其一:它只能透過 stream 外掛使用,offset 會以非訊息資料的形式儲存在 stream 本身。發布者去重複化是另一項:具名的 producer 搭配嚴格遞增的發布 ID,能讓代理在當機後過濾重送的訊息,前提是同一時間只有一個 producer 執行個體使用該名稱。
有一個副作用需要知道:訊息是以 AMQP 1.0 資料格式儲存,因此帶有陣列或表格等複雜值的 AMQP 0.9.1 標頭不會被轉換。
Super stream 與 single active consumer
Super stream 是分割到多個一般 stream 上的邏輯 stream,能將儲存空間與流量分散到各叢集節點。用戶端程式庫會把它呈現為單一 stream。搭配 single active consumer(具名群組中只有一個執行個體接收訊息,該執行個體停止時由另一個接手),就能在每個分割區內依序處理,並具備容錯移轉能力。兩者都在 RabbitMQ 3.11 推出。CLI 一行就能建立拓樸:rabbitmq-streams add_super_stream invoices --partitions 3。
文件本身的建議是節制使用:super stream 會增加複雜度,只有在單一 stream 已達極限時才應採用。
維運 stream:副本、quorum 與記憶體
Stream 是 quorum 系統,因此請使用奇數個節點的叢集:三個節點可容忍一個故障,五個節點可容忍兩個,兩節點叢集則一個都無法容忍。副本成員由維運人員自行管理。新加入叢集的節點不會承載任何 stream 副本,直到您執行 rabbitmq-streams add_replica;要除役的節點,則必須以 delete_replica 從它承載的每一個 stream 中移除。請以 rabbitmq-streams stream_status 檢查複寫狀態。更換節點時,先加入新節點,等它完成同步後再移除舊節點;只要還有副本未同步,就無法再新增副本。
Stream 在代理中使用的 RAM 很少,但高度依賴核心的頁面快取(page cache)。在容器中,頁面快取會計入記憶體上限,這就是一個健康的 stream 工作負載也會讓 pod 遭到 OOM 終止的原因。Stream 也不會對記憶體警示做出反應。請使用可取得的最快磁碟;訊息越大、副本越多,傳輸量就越低。
資料安全:publisher confirm 在 stream 上代表什麼
Stream 上的 confirm 代表訊息已複寫到多數(quorum)副本,並不代表已寫入磁碟:stream 會寫入磁碟,但不會執行 fsync,而是交由作業系統處理。因此,非受控的關機可能導致該節點遺失最近的資料,這些資料通常會再從其他節點重新複寫。文件的建議很直接:如果您需要更強的保證,請使用仲裁佇列,它只會在多數節點完成寫入並 flush 之後才確認。沒有使用 confirm 就發布的訊息,則完全沒有任何保證。
哪些地方無法執行 stream
先確認平台,再進行設計。Amazon MQ for RabbitMQ 不支援 stream,其文件更警告,建立 stream 將導致資料遺失。要使用 stream,需要自行管理的 RabbitMQ、專業的代管業者,或由他人代為維運、部署在您自己帳戶中的代理。
常見問題
RabbitMQ 的 stream 和佇列有什麼不同?
佇列會在消費者確認後移除訊息,因此每則訊息只會被處理一次,佇列也會逐漸清空。Stream 則會保留訊息直到保留設定讓它過期,消費者從某個 offset 開始讀取,因此許多消費者可以讀取相同的訊息並重播。佇列有死信處理、TTL 與優先順序;stream 則沒有。
什麼是 RabbitMQ stream?
RabbitMQ 中一種持久化、經過複寫、只能附加寫入的日誌。消費者讀取時不會移除訊息,因此許多消費者可以讀取相同的資料,並在保留設定讓資料過期之前,從任意 offset 重新讀取。將 x-queue-type 設為 stream 即可宣告。
什麼時候該用 stream,而不是仲裁佇列?
大規模扇出、重播、極高傳輸量或大量積壓時,請使用 stream。需要死信處理、TTL、優先順序或最強持久性的工作分派,請使用仲裁佇列,因為仲裁佇列只會在多數節點寫入磁碟後才確認,而 stream 不會執行 fsync。
如何避免 RabbitMQ stream 把磁碟寫滿?
透過佇列參數或 policy,以 max-age、max-length-bytes 或兩者併用來設定保留。保留是以 segment 為單位套用,預設 segment 為 500 MB,因此每個 stream 至少要預留一個額外 segment 的空間。
RabbitMQ stream 支援死信 exchange 或 TTL 嗎?
不支援。Stream 不支援死信 exchange、訊息 TTL、佇列長度上限、優先順序,也不支援獨占與非持久化宣告。保留設定取代了 TTL 與長度上限的功能。
Amazon MQ 支援 RabbitMQ stream 嗎?
不支援。Amazon MQ 開發人員指南明載不支援 stream,並指出建立 stream 將導致資料遺失。