On this page
可以。Redis 訊息佇列是一個實際可行的選項,而且有三種建構方式:Lists 用於簡單的工作分派,Pub/Sub 用於不儲存任何資料、發出即不管的廣播,Streams 則用於具備確認機制與至少一次傳遞的消費者群組。只有 Streams 的行為像真正的訊息代理。無論選哪一種,您都會放棄路由、單則訊息 TTL、優先權與死信處理——這些功能最後都得由您自己動手寫。
問題很少在於 Redis 做不做得到。它做得到。真正的問題是:第一次出狀況時會發生什麼事。
Lists、Pub/Sub 與 Streams 比較
| Lists | Pub/Sub | Streams | |
|---|---|---|---|
| 模式 | 工作佇列 | 廣播 | 具消費者群組的日誌 |
| 持久保存於 keyspace | 是 | 否 | 是 |
| 傳遞保證 | 預設為至多一次 | 至多一次 | 搭配群組可達至少一次 |
| 確認機制 | 無內建機制 | 無 | XACK,搭配待處理清單 |
| 消費者群組 | 否 | 否 | 是 |
| 重播歷史資料 | 否——取出後即消失 | 否 | 是,可依 ID 範圍重播 |
| 多個獨立讀取者 | 否 | 是,每個都會收到一份 | 是,以群組為單位 |
| 典型用途 | 背景工作 | 快取失效、通知 | 需要耐久性的事件處理 |
如果這篇文章只能記住一件事,那就是:Pub/Sub 在設計上就會遺失訊息,而這不是錯誤。Redis 官方文件寫得清清楚楚。
Redis Lists 可以當作訊息佇列嗎?
可以,而且這是最古老的 Redis 訊息佇列模式——對許多背景工作處理而言,至今仍是正確答案。
生產者以 LPUSH 推入項目。worker 則阻塞在 BRPOP 上,等待項目出現,而不必輪詢。多個 worker 監看同一個 key 時會彼此競爭,每個項目只會交給其中一個。兩個指令就構成一個工作佇列,而且是在您原本就在運作的基礎架構上。
LPUSH jobs:email '{"to":"user@example.com","template":"welcome"}'
BRPOP jobs:email 0故障模式顯而易見。BRPOP 會移除項目並交給 worker。如果該 worker 在處理途中當掉,這個項目就消失了——沒有任何東西知道它正在處理中,也沒有任何東西會重新傳遞它。
緩解方法是可靠佇列(reliable-queue)模式:不要直接取出項目,而是以 BLMOVE(或較舊的 BRPOPLPUSH)將項目以原子方式移到每個 worker 專屬的處理中清單,工作完成後再從該清單刪除。殘留在處理中清單裡的項目就能夠復原。
這個做法行得通,也有許多正式環境系統以此運作。但請留意您實際打造了什麼:一套確認機制、一個偵測被遺棄處理中清單的回收程序,以及一套重試策略。這些都是訊息代理的功能,如今卻存在於您的應用程式中,由您的團隊維護,而且只有您測試得多徹底,它就有多可靠。
Redis Pub/Sub 能保證送達嗎?
不能,而且這正是最常被誤認為 Redis 訊息佇列的機制,偏偏也是最不適合這份工作的一個。
SUBSCRIBE 會登記對某個頻道的關注,PUBLISH 則把訊息送給當下所有的訂閱者。Redis 官方文件對其意涵說得毫不含糊:
Redis 的 Pub/Sub 採用至多一次的訊息傳遞語意。顧名思義,這表示一則訊息若有送達,也只會送達一次。Redis 伺服器一旦送出訊息,就不會再有重送的機會。如果訂閱者無法處理該訊息(例如因為錯誤或網路斷線),這則訊息就永遠遺失了。
沒有任何東西會被儲存。正在重新啟動、部署、短暫遭遇網路分割,或只是處理較慢的訂閱者,會永久錯過這段期間發布的所有訊息,而且不會收到任何發生過這件事的訊號。
因此 Pub/Sub 非常適合一小類工作:快取失效、即時儀表板更新、上線狀態通知——任何下一則訊息出現後、錯過的那則就無關緊要的情境。但它不適合訂單處理、付款,或任何日後有人會要您交代清楚的事情。
還有兩個實用的細節。Pub/Sub 與 keyspace 無關,因此在資料庫 10 發布的訊息,也會送達資料庫 1 上的訂閱者;如果需要依環境區隔,請為頻道加上前綴。此外,在叢集部署中,分片式 Pub/Sub(SSUBSCRIBE、SPUBLISH)會將訊息限制在單一分片內,而不是透過叢集匯流排傳播到整個叢集,這也是水平擴展 Pub/Sub 的方式。
Redis Streams 能讓 Redis 成為真正的訊息佇列嗎?
這已經是最接近的了。有了 Streams,Redis 不再只是一個被硬拗成佇列的資料結構,而是您可以合理地在上面執行工作資料管線的東西。
XADD 會附加一個項目,並傳回 <milliseconds>-<sequence> 格式、依時間排序的 ID。項目會持久保存在 keyspace 中。XREAD 可以阻塞等待新項目。消費者也可以用 XRANGE 讀取歷史範圍。
消費者群組才是真正的重點:
XGROUP CREATE events mygroup $
XREADGROUP GROUP mygroup consumer1 STREAMS events >
XACK events mygroup 1692632086370-0每個項目只會交給群組中的一個消費者,而多個群組可以各自獨立地消費同一個 stream。已傳遞的項目會留在該群組的 Pending Entries List 中,直到以 XACK 確認為止。您可以用 XPENDING 檢視積壓情況。如果某個消費者在仍有未完成項目時當掉,其他消費者可以用 XCLAIM 或 XAUTOCLAIM 接手並完成工作。
這樣的組合提供了至少一次傳遞:消費者故障時不會遺失任何東西,但在當機前一刻處理過的項目可能會被重新傳遞。您的消費者必須具備冪等性。這是任何至少一次傳遞的訊息代理都會有的要求——並不是 Redis 的缺點,只是大家往往要等到看見重複扣款才想起來。
除非設定上限,否則 stream 會無限成長。XADD 接受 MAXLEN,XTRIM 則可事後修剪;~ 形式採用近似修剪,成本明顯低於精確修剪。MINID 依項目 ID 而非數量修剪,適合以時間為基準的保留策略。請在設計階段就選定一種。在記憶體內資料儲存中放任 stream 無限成長,就等於一場延遲引爆的記憶體耗盡事故。
相較於真正的訊息代理,您放棄了什麼?
Redis Streams 補上了傳遞保證的缺口,但其他缺口依然存在。
- 路由。RabbitMQ 在發布者與佇列之間放了一個 exchange。direct、topic、fanout 與 headers exchange 會依據 routing key 與屬性決定訊息的去向,而且這些都是設定。Redis 沒有對應的機制——發布者只會寫入一個具名的 key。任何以內容為基礎的路由都得自己寫程式,而它也會變成另一個必須與您的拓樸保持同步的東西。
- 單則訊息 TTL。RabbitMQ 支援透過
expiration屬性為單則訊息設定 TTL,也支援以佇列為單位設定,兩者都設定時取較小值。它甚至坦白記載了其中的陷阱:「只有在過期訊息到達佇列前端時,才會真正被捨棄。」Redis 的 TTL 則套用於整個 key,而非個別的 list 項目或 stream 項目。讓一則訊息過期而不影響相鄰的訊息,這不是 Redis 做得到的事。 - 優先權。RabbitMQ 支援優先權佇列。Redis 的 list 項目與 stream 項目沒有優先權的概念。要模擬它,就需要多個 key,再讓 worker 依序檢查,這會重新引入訊息代理早已解決的飢餓(starvation)問題。
- 死信處理。RabbitMQ 會在訊息遭拒絕、TTL 到期、超過佇列長度上限,或超過仲裁佇列的傳遞次數上限時,自動進行死信處理。Redis Streams 只提供原始素材——
XPENDING會顯示卡住的項目,傳遞次數也有追蹤——但要把毒訊息導向隔離用的 stream、限制重試次數並發出告警,全都得靠您自己的程式碼。 - 傳遞計數與重試策略。這與上一點相關,但值得分開來談:訊息代理會以一項設定提供傳遞次數上限。在 Redis 中,您得自己讀取計數器並決定如何處理——在每個地方、始終一致、永無止境。
這些都不代表 Redis 是錯誤的選擇,而是讓這個選擇變成一種取捨:您接下了在其他地方原本免費附帶的功能,換來不必再多維運一套系統。
持久化有哪些需要注意的地方?
Redis 是一個會寫入磁碟的記憶體內資料儲存。當機時會遺失多少資料,是一項設定上的決定,而 Redis 自己公布的數字值得您了解。
- RDB 會在設定的儲存點建立時間點快照。Redis 文件對其風險說得很直接:「您通常會每五分鐘或更久才建立一次 RDB 快照,因此萬一 Redis 因任何原因在未正確關閉的情況下停止運作,您應該做好遺失最近幾分鐘資料的準備。」建立快照時還會 fork 行程,在大型資料集上,這次 fork 可能會讓伺服器短暫停頓——這是實際存在的維運影響,我們在 Redis 高可用性一文中與其他故障模式一併說明。
- AOF 會記錄每一個寫入指令,並提供三種 fsync 策略。
appendfsync always最安全也最慢。appendfsync everysec是建議的預設值,Redis 表示「發生災難時,可能會遺失 1 秒鐘的資料」。appendfsync no則交由核心處理。
Redis 的建議是:如果您想要與關聯式資料庫相當的耐久性,就同時啟用兩者。這對佇列用途有兩個影響:
- 已向生產者確認的訊息,不一定已經寫入磁碟。採用
everysec時,任何時刻都可能有長達一秒、已接受但尚未寫入的工作。 - 複寫是非同步的。主節點故障時,可能會遺失已確認但尚未複寫的寫入——這與 Redis 在各方面為了速度所做的取捨相同。
如果您的要求是「這則訊息絕對不能遺失」,Redis 可以設定到接近這個程度,但您得以延遲為代價,而且應該實際驗證設定,而不是想當然耳。
什麼時候 Redis 才真正是正確的選擇?
以下情況適合用 Redis 做佇列:
- 您的架構中已經有 Redis,而加入訊息代理就意味著多一項維運負擔
- 拓樸很單純——生產者對應一組 worker,沒有以內容為基礎的路由
- 延遲比傳遞保證更重要,而且重新執行遺失的工作是可以接受的
- 訊息量大且生命週期短,這正是記憶體內資料儲存的強項
- 團隊樂於在應用程式程式碼中自行負責確認、重試與死信邏輯
以下情況適合用 RabbitMQ:
- 路由並不單純,而您寧可用設定處理,也不想寫程式
- 您需要以訊息代理功能形式提供的單則訊息 TTL、優先權或死信處理
- 傳遞保證會出現在合規文件或客戶合約中
- 不同的消費者需要同一發布者訊息中的不同子集
- 您想要現成的維運工具——管理介面、各佇列指標、policy——而不必自行打造
兩者並不互斥,實務上最穩健的架構往往兩者並用:Redis 負責快取、速率限制、暫時性狀態與快速的程序內扇出,RabbitMQ 則負責附帶保證的訊息。我們在同時執行 Redis 與 RabbitMQ 一文中詳細說明了這種分工。
另外兩個比較也值得參考。如果工作負載是一份只能附加的事件日誌,由許多獨立消費者各自依自己的步調重播,那麼 Redis Streams 與 RabbitMQ 的型態都不對——請參閱 RabbitMQ Streams 與 Apache Kafka 比較。如果您正在為確保送達而權衡開放原始碼與商用訊息代理,IBM MQ 與 RabbitMQ 比較涵蓋了這個主題。
我們最常看到的失敗模式並不是選擇了 Redis,而是在需要 Streams 的工作上選了 Redis Pub/Sub,或是選了 Lists,三年後才發現累積了一大堆沒人敢碰的確認邏輯。請選擇符合您真正所需保證的機制,並把您選了哪一個記錄下來。
與 AceMQ 聊聊 Redis 與 RabbitMQ
不確定 Redis 是否承擔了超出其應有範圍的佇列責任?AceMQ 同時處理這兩個領域——Redis 技術支援與顧問服務,以及 RabbitMQ 顧問服務。與 AceMQ 工程師聊聊。
常見問題
Redis 可以當作訊息佇列使用嗎?
可以。Redis 提供三種機制——Lists 用於簡單的工作佇列,Pub/Sub 用於發出即不管的廣播,Streams 則提供具備至少一次(at-least-once)傳遞的消費者群組。其中 Streams 的行為最接近訊息代理。至於夠不夠用,取決於您在「送達」之外還需要什麼。
Redis 是訊息代理嗎?
不是 RabbitMQ 那種意義上的訊息代理。Redis 提供的是資料結構,您可以在其上自行建構佇列機制。它沒有以 exchange 為基礎的路由、沒有針對佇列中工作的單則訊息 TTL、沒有優先權佇列,也沒有內建的死信機制。這些都是訊息代理的功能,在 Redis 裡就得變成應用程式程式碼。
Redis Pub/Sub 和 Redis Streams 有什麼差別?
Pub/Sub 採用至多一次(at-most-once)傳遞,而且不儲存任何資料。Redis 官方文件明言,如果訂閱者無法處理某則訊息,「這則訊息就永遠遺失了」。Streams 則會將項目持久保存在 keyspace 中,支援具確認機制的消費者群組,並提供至少一次傳遞。如果遺失訊息會造成問題,這個差異就是決策的全部。
Redis Pub/Sub 會持久保存訊息嗎?
不會。發布的訊息只會送給當下有訂閱的對象,之後就消失了。正在斷線、重新啟動或短暫過載的訂閱者,會錯過這段期間發布的所有訊息,而且無從補救。
Redis Streams 的消費者群組如何運作?
先以 XGROUP CREATE 建立群組,接著每個消費者以 XREADGROUP 讀取,並使用特殊 ID > 取得新項目。已傳遞但尚未確認的項目會留在 Pending Entries List 中,直到執行 XACK 為止。如果某個消費者當掉,其他消費者可以用 XCLAIM 或 XAUTOCLAIM 接手它尚未處理完的項目。至少一次傳遞正是因此才得以實現。
Redis 會遺失訊息嗎?
會,至於會遺失多少,取決於持久化設定。RDB 快照是時間點快照,因此 Redis 文件提醒,在非正常停止後,您應該做好遺失最近幾分鐘資料的準備。若使用 AOF 並採用預設的 appendfsync everysec,Redis 表示您可能會遺失一秒鐘的資料。Pub/Sub 訊息則完全不會持久保存。
Redis 比 RabbitMQ 快嗎?
就單純的記憶體內操作而言,大致上是——這本來就是記憶體內資料儲存的用途。但這種比較容易誤導,因為您通常是拿未經確認的記憶體內推送,去比較持久化、經過路由且有確認機制的傳遞。一旦為了讓兩者對等而加上持久化與確認機制,差距就會大幅縮小。
什麼時候該用 Redis 而不是 RabbitMQ 來做佇列?
當工作只是簡單地分派給 worker、您的技術堆疊中已經有 Redis、路由只是一個生產者對應一組消費者,而且故障時遺失的工作可以重新執行來補救時。如果您需要路由規則、單則訊息 TTL、優先權、死信處理,或是能寫進合規文件的傳遞保證,就該選擇 RabbitMQ。
參考資料
Talk to an engineer
Need a hand with Redis?
Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.
指南、比較與研究

