部落格Redis

Redis 高可用性:Sentinel 與 Cluster、容錯移轉,以及會出問題的地方

Scott Sternloff

作者:Scott Sternloff(資深企業架構師)

LinkedIn · 更新日期: · 閱讀時間 15 分鐘

Redis 高可用性:Sentinel 與 Cluster、容錯移轉,以及會出問題的地方
On this page

Redis 的高可用性來自複寫,再加上某個能自動執行容錯移轉的機制。Redis Sentinel 為單一資料集提供自動容錯移轉;Redis Cluster 則提供容錯移轉,外加跨多個 primary 的水平分片。大多數團隊需要的是 Sentinel。只有當單一節點已經放不下您的資料,或撐不住您的吞吐量時,才需要 Cluster。想了解 Redis Cluster 如何分片資料、重新導向用戶端,以及在正式環境中會出現哪些故障,請參閱 Redis Cluster:雜湊槽、分片與維運。

光有複寫並不等於高可用性。擁有 replica 的 primary,仍然需要一個行程來判定 primary 已經故障、升級某個 replica,並告訴用戶端該連到哪裡。真正區分以下這幾種架構的,正是這一層決策機制。

Redis 複寫是一切的基礎

每一種高可用性架構都從同一個基本元件開始:一個接受寫入的 Redis master,以及一個或多個從它進行複寫的 replica。

Redis 的複寫是非同步的。正是這種非同步複寫,讓這個記憶體內資料儲存得以保持高速。寫入會在 replica 確認之前就回覆給用戶端,這讓延遲維持在低水準,但也代表 primary 故障時可能遺失最後幾筆寫入。這是刻意且無法避免的取捨——沒有任何高可用性方案能讓它消失,因此請把它納入設計考量,而不是試圖繞過它。

replica 可以提供讀取,但無法消除單點故障。如果 primary 掛了,又沒有任何機制升級 replica,整個叢集就無法寫入。

Redis Sentinel 如何運作

Sentinel 是一個獨立的行程,負責監看被監控的 Redis 執行個體,並自動執行升級。

請至少執行三個 Sentinel 執行個體。決策需要多數同意,因此三個可以在其中一個故障時仍然達成共識。兩個則在少掉一個之後就無法形成多數。

發生容錯移轉時,流程如下:

  1. 某個 Sentinel 收不到 primary 的回應,將其標記為主觀下線
  2. 它詢問其他 Sentinel;一旦有足夠數量同意,primary 即為客觀下線
  3. 它們彼此之間選出一個 leader,由 leader 挑選最合適的 replica
  4. 該 replica 被升級為 master,其餘 replica 則重新設定為跟隨它
  5. 用戶端透過詢問監控行程,得知新的 primary

最後這一步比大多數團隊預期的更重要。您的 Redis 用戶端必須能感知 Sentinel——它要向監控行程查詢目前 primary 的位址,而不是寫死一個 IP 位址。設定了固定 IP 的應用程式,會持續寫入已被降級的節點,並在不知不覺中失敗。

盡可能將這些行程部署在與 Redis 伺服器不同的主機上。由於這個行程很輕量,與 Redis 部署在同一台主機上的做法很常見,但如此一來,一次主機故障就會同時拿掉一個 Redis 節點和一張票——而那正是您最需要那張票的時候。

Redis Sentinel 容錯移轉的循序圖,顯示 quorum 共識、replica 升級,以及用戶端被導向新的 primary

Redis Cluster 如何運作

Redis Cluster 會把資料分片到多個 Redis 執行個體上,每個執行個體各有自己的 replica。鍵會對應到 16,384 個 hash slot,這些 slot 分散在各個分片上。

Cluster 以相同的方式——升級 replica——提供高可用性與容錯能力,但不需要獨立的監控層,而是由節點彼此之間自行達成共識。它還能擴充寫入,這是 Sentinel 做不到的:在 Sentinel 的做法下,無論有多少個 replica,所有寫入都由同一個 primary 處理。

代價是維運與應用程式層面的複雜度。多鍵操作必須限制在同一個 hash slot 內,有些用戶端處理重新導向的能力很差,而將分片重新分配到多個節點上,是一套真正的作業程序,而不是改個設定就好。

Sentinel 與 Cluster 比較

Redis SentinelRedis Cluster
資料單一資料集,經複寫分片到多個 primary
寫入擴充否——單一 primary是
自動升級是是
額外行程需要 Sentinel 節點無
用戶端需求須能感知 Sentinel須能感知 Cluster
多鍵操作不受限制僅限同一個 hash slot
適用情境不需分片的 HAHA 加上水平擴充

Redis Cluster 與 Redis Sentinel 在實務上的分界是:當您的資料能輕鬆放進單一節點,而您需要的是不必分片的可用性時,選擇 Sentinel。放不下時,才選擇分片方案。純粹為了備援而選擇 Cluster,只會增加複雜度,而您在每一次事故中都得為此付出代價。

託管方案——Redis Enterprise、Azure Cache for Redis,以及各雲端供應商的服務——會把這個選擇藏在它們自己的架構背後,通常是將 replica 分散到多個可用區域。這很方便,但您繼承的是它們的升級語意,而不是由您自己決定。

並排比較:Redis Sentinel 複寫單一資料集,Redis Cluster 則將資料分片到多個 primary

為什麼 Redis Sentinel 會發生腦裂,而且無法自動復原?

在由 Sentinel 管理的 Redis 部署中,當網路分割(或一連串連鎖重新啟動事件)讓兩組節點都認為自己擁有 quorum、應該——或已經——擔任 primary 時,就會發生腦裂。RabbitMQ 的 pause_minority 行為會刻意讓少數方停止運作以防止資料分歧;Redis Sentinel 則不同,它的容錯移轉與復原模型,仰賴 Sentinel 就哪個節點真的故障達成 quorum 共識——而真實的正式環境事故,正是卡在這個共識過程上。

實務上的成因。一次真實的正式環境 Redis 評估,將 Redis Sentinel 的腦裂與自動復原失敗列為專門的調查工作項目,而其成因特別來自叢集重新啟動期間 Sentinel 啟動程序(bootstrap)的可靠性問題——也就是說,問題並不是某次戲劇性的網路分割,而是叢集在重新啟動或當機復原後重新上線時,Sentinel 未能正確地重新建立 quorum,也無法就 primary/replica 角色達成一致。

為什麼無法自我修復。Sentinel 的容錯移轉邏輯,要求所設定 quorum 數量的 Sentinel 行程一致同意 primary 確實無法連線,才會升級 replica。如果 Sentinel 本身以不一致的順序重新啟動,或是引發原始問題的底層基礎架構事件也同時中斷了 Sentinel 彼此之間的通訊,就可能陷入沒有任何一組 Sentinel 擁有完整 quorum 的狀態——而原本應該正好用來處理這類事件的自動容錯移轉機制無法順利觸發,只能靠人工介入。

遇到這種情況時要檢查的項目:

  • 確認所有 Sentinel 行程都能透過必要的連接埠彼此連線,並連到被監控的 Redis 節點——部分網路問題可能已經對資料流量恢復,卻沒有對 Sentinel 的 gossip 流量恢復,導致即使應用程式層級的連線看起來正常,Sentinel 的 quorum 仍然是破損的
  • 對照實際的 Sentinel 行程數量,檢視您的 Sentinel quorum 設定——相對於部署拓樸而言設得過低的 quorum 要求,會提高陷入這種模稜兩可狀態的機率
  • 特別檢查 Sentinel 的日誌(而不只是 Redis 伺服器日誌),看看是否有反覆失敗的容錯移轉嘗試,或 Sentinel 之間對目前的 primary 意見不一——這正是 quorum/啟動程序問題的直接特徵,而不是單純的節點故障
  • 如果 Sentinel 的啟動程序是自動化部署的一部分(容器重新啟動、由編排工具管理的重新部署),請驗證啟動順序不會發生競爭——Sentinel 在還無法連到彼此或被監控節點之前就上線,是觸發這種故障模式的常見原因

實務上的緩解方式:如果您遇到的 Sentinel 腦裂反覆發生,而且特別與重新啟動相關(而不是真正的網路分割),解法通常不只是調整 Sentinel 設定——而是修正啟動/重新啟動的順序,讓 Sentinel 在容錯移轉邏輯啟動之前,就能可靠地彼此連線並連到 Redis 節點。Redis Cluster 模式(相對於由 Sentinel 管理的獨立/primary-replica 架構)以不同的方式處理其中部分協調問題;如果 Sentinel 啟動程序的可靠性已經成為您部署中反覆出現的維運痛點,就值得評估改用 Cluster。

如何設定 Redis 的高可用性

Sentinel 架構一套可行的基準設定:

# redis.conf on each replica
replicaof <primary-ip> 6379
min-replicas-to-write 1
min-replicas-max-lag 10
# sentinel.conf — three sentinel processes
sentinel monitor mymaster <primary-ip> 6379 2
sentinel down-after-milliseconds mymaster 5000
sentinel failover-timeout mymaster 60000

最後面的 2 就是 quorum:開始升級之前,必須有幾個 Sentinel 同意。在有三個 Sentinel 執行個體的情況下,設為 2 是正確的。

Sentinel 需要另外設定,而 min-replicas-to-write 是大多數團隊會略過的設定。它會讓 primary 在連線的 replica 少於設定數量時拒絕寫入,把無聲的資料遺失轉變成看得見的錯誤。請依您的網路調整 down-after-milliseconds——設得太激進,正常的延遲就會觸發不必要的升級。

為什麼高可用的 Redis 還是會停擺

設定正確並不足夠。以下是我們最近處理過的三種故障模式,沒有一種能透過設定審查發現。

背景儲存期間記憶體耗盡。Redis 透過 fork 寫出快照,而 fork 使用寫入時複製。如果您的工作負載在儲存期間大量寫入,父行程與子行程的內容就會分歧,記憶體用量隨之逼近資料集的兩倍。我們曾調查一位客戶在記憶體使用率約 60% 時反覆當機的問題——遠低於他們設定告警的任何門檻——原因正是備份期間的 fork 行為。解法是在核心層級調整記憶體超額配置(memory overcommit)的行為,而不是 Redis 的設定。

規劃容量時,要讓尖峰用量加上 fork 的額外負擔仍然放得進 RAM。對於會做快照、寫入密集的執行個體,穩定狀態下 50% 是合理的上限。

啟動期間的腦裂。在同一個環境中,啟動期間的 DNS 延遲造成了腦裂:解析到過時位址的節點,對誰是 primary 形成了不一致的認知。這是啟動順序的問題,而不是穩定運作時的問題,而且只有在整個叢集一起重新啟動時才會出現——而這正是 Kubernetes 在節點排空(drain)或滾動更新期間會發生的情況。

以指令碼執行、仰賴 DNS 的啟動程序脆弱到一定程度,因此我們正在開發一個外掛,改以 Raft 共識自動化 Sentinel 的啟動程序,完全移除這項外部相依。

replica 停滯。一個嚴重落後、需要完整重新同步的 replica,會迫使 primary 再做一次 fork——而且往往發生在最糟的時刻。請把 replica 延遲視為一級指標來監控,而不是事後才想到。

遇到從設定中找不出原因的 Redis 當機?這些故障通常位於 Redis 之下——在核心的記憶體行為、DNS 或編排層。AceMQ 提供結構化的 Redis 評估,能找出這些問題。與 AceMQ 工程師聊聊。

圖表顯示 Redis 記憶體用量在背景儲存 fork 期間翻倍,在基準用量 60% 時觸發記憶體不足當機

Kubernetes 上的 Redis

Kubernetes 改變了故障模型。pod 會移動、IP 位址會變更,而整個分散式系統可能在滾動更新期間同時重新啟動。

能防止大多數事故的三條原則:

  • 使用具有穩定網路識別的 StatefulSet,讓重新啟動後的 Redis 執行個體保有可預測的名稱,而不是換一個新位址
  • 透過反親和性將 replica 分散到不同節點與可用區域——位於同一個實體節點上的 replica 毫無保護作用
  • 設定 PodDisruptionBudget,讓節點排空時不會同時驅逐 primary 與多數 Sentinel 節點

Redis 與 Sentinel 都需要這樣處理。只保護資料節點、卻讓監控 pod 可以任意被驅逐,就等於拿掉了讓升級得以運作的那個多數。

最佳實務

  • 三個 Sentinel 執行個體,部署在與 Redis 伺服器主機不同的故障域
  • 多個 replica——每個 primary 節點至少兩個,讓一個故障之後仍有可升級的候選者
  • 能感知 Sentinel 或 Cluster 的用戶端——絕對不要寫死 primary 的 IP 位址
  • min-replicas-to-write,讓 primary 明確地失敗,而不是悄悄地遺失寫入
  • 為 fork 的額外負擔預留容量,而不只是工作集
  • 針對 replica 延遲、記憶體碎片化與監控行程健康狀態設定告警——而不只是看行程有沒有在跑
  • 刻意進行測試。沒有測試過的升級路徑只是一個假設,而不是保證

如果您希望訊息傳遞層也得到同樣的檢視,我們的 RabbitMQ 疑難排解指南涵蓋了那一層對應的故障模式。若需要針對正式環境的實際協助,請參閱 Redis 技術支援與事故應變。

在虛擬化基礎架構上,部署位置與拓樸同樣重要——請參閱 VMware 上的 Redis 反親和性。

在 Sentinel 與 Cluster 之間做選擇:判斷原則與常見的錯誤選擇

決策可以歸結為一個問題:資料集以及針對它的寫入速率,能不能放進單一節點?能,就用 Sentinel;不能,就用 Cluster。

Sentinel 是針對單一份經複寫資料集的容錯移轉。一個 primary 持有所有的鍵,replica 複製它,而 Sentinel 負責監看、以 quorum 一致認定 primary 已經消失、升級某個 replica,並回答用戶端對新 primary 的查詢。您保有獨立 Redis 的語意:可以對任意鍵使用 MULTI/EXEC 與 Lua。用戶端唯一需要的改變,是在連線時與發生錯誤時查詢 Sentinel。

Cluster 則是內建容錯移轉的分片機制。keyspace 被切分成 16384 個 hash slot,分散在數個 primary 上,每個 primary 各有自己的 replica。用戶端如果問錯了節點,會收到 MOVED 重新導向(永久性)或 ASK 重新導向(遷移途中),並且必須遵循,因此需要一個能感知 Cluster、隨時維護最新 slot 對應表的函式庫。多鍵指令、交易與 Lua 要求所有鍵都位於同一個 slot,因此鍵名要帶有 hash tag,例如 {user:42}:profile。

當資料集能放進單一節點且仍有餘裕、一個 primary 就能吸收寫入速率、您仰賴跨任意鍵的交易或 Lua,或您的用戶端很簡單時,選擇 Sentinel。當資料集或寫入吞吐量超出單一節點的能力,且已規劃水平成長時,選擇 Cluster。

我們最常看到的錯誤選擇,是為了一個 4 GB 的資料集採用 Cluster,只因為它聽起來可用性更高。事實並非如此:Cluster 的容錯移轉同樣是升級 replica,只是條件更嚴格(必須能連到多數 primary),佔用的資源還是兩倍。您得為一個用不到的分片機制,付出用戶端複雜度與鍵設計的代價。我們已經不只一次協助團隊改回 Sentinel,而且完全沒有犧牲可用性。

Redis 容錯移轉期間實際發生了什麼,以及寫入在哪裡遺失

在 Sentinel 下,順序是固定的。某個 Sentinel 在 down-after-milliseconds 內沒有收到有效回應,就把 primary 標記為 SDOWN(主觀下線)。它詢問其他 Sentinel,一旦達到 quorum 的數量同意,primary 就成為 ODOWN。接著 Sentinel 之間以帶有 epoch 編號的投票選出 leader;leader 需要的是所有 Sentinel 中的多數,而不只是 quorum,這也是為什麼兩個 Sentinel 在其中一個故障時無法完成容錯移轉。leader 會挑選 replica-priority 最低、再來是複寫 offset 最高的 replica,對它送出 REPLICAOF NO ONE,將其他 replica 指向它,並發布 +switch-master。用戶端向任一 Sentinel 查詢目前的 primary 並重新連線。failover-timeout 限制了每個步驟的時間與重試間隔。

在 Cluster 下,由各個 primary 擔任裁決者。在 cluster-node-timeout 內沒有回應的節點會被標記為 PFAIL;故障報告透過 gossip 擴散,一旦多數 primary 同意,就變成 FAIL。故障 primary 的每個 replica 會依複寫 offset 排序等待一段延遲時間,因此擁有最多資料的那個會最先請求投票。它以新的 epoch 請求投票,需要多數 primary 同意,而每個 primary 在每個 epoch 只能投一次票。勝出者接管那些 slot、遞增自己的 config epoch,並對外廣播。用戶端則透過 MOVED 重新導向得知變化,並更新自己的 slot 對應表。

在這兩種模式下,複寫都是非同步的:primary 會在 replica 取得寫入之前就回覆用戶端。primary 故障時,落在這段時間窗口內的一切都會消失,因為被升級的 replica 的 offset 會成為唯一的事實。這段窗口通常只有幾毫秒;如果 replica 落後,則會是幾秒鐘。

min-replicas-to-write 與 min-replicas-max-lag 可以限制這段窗口。設為 1 與 10 時,除非至少有一個 replica 處於連線狀態、且在十秒內回報過,否則 primary 會拒絕寫入。這並不會讓複寫變成同步;對於必須保住的單筆寫入,請使用 WAIT。

同樣的設定也是 Sentinel 對腦裂的解答。一個與 Sentinel 失聯、卻仍能被部分用戶端連到的舊 primary,會在被重新設定之前持續接受寫入,而這些寫入在它重新加入時會全部被捨棄。一旦它的 replica 改為跟隨新的 primary,它就無法通過 min-replicas 檢查,進而拒絕寫入。Cluster 則更果斷:位於網路分割少數方的 primary,會在 cluster-node-timeout 之後停止服務,並回傳 CLUSTERDOWN。

請將 down-after-milliseconds 與 cluster-node-timeout 設得夠高,讓 GC 暫停或 VM 停頓不會觸發不必要的容錯移轉(請參閱 VMware 反親和性)。用戶端逾時要設得比實測的容錯移轉時間更長,在連線錯誤與 READONLY 時以退避(backoff)方式重試,並確認函式庫會重新查詢 Sentinel 或 slot 對應表,而不是快取某個位址。接著,同時演練「行程被終止」與「防火牆造成的網路分割」兩種情況,因為大多數容錯移轉的意外只有在網路分割時才會出現。合理的最低數量:三個 Sentinel 分布在三個故障域;Cluster 則是三個 primary、各搭配一個 replica。我們看到客戶最常犯的錯誤,依序是:只有兩個 Sentinel、Sentinel 與其監看的 Redis 位於同一台主機、應用程式中寫死 primary 位址,以及用戶端逾時比容錯移轉時間還短。我們的 Redis 顧問服務通常就是從修正其中一項開始。

本文是 Redis 可靠性指南七個步驟中的第一步,該指南依問題在正式環境中出現的先後順序逐一說明。

常見問題

什麼是 Redis 高可用性?

一種結合複寫與自動容錯移轉、讓 Redis 在節點故障時仍能持續提供服務的架構。光有複寫並不夠——還必須有某個機制負責偵測故障、升級 replica,並把用戶端導向新的位置。

Redis Sentinel 和 Redis Cluster 有什麼差別?

Sentinel 為單一份經複寫的資料集加上自動升級機制。Cluster 則把資料分片到多個 primary 上,並在內部自行處理故障。前者提供可用性;後者提供可用性,再加上寫入擴充能力。

我需要幾個 Sentinel 執行個體?

至少三個。容錯移轉需要達成 quorum 共識,三個可以在一個監控行程故障時仍然形成多數。兩個則做不到。

Redis 在容錯移轉期間會遺失資料嗎?

有可能。Redis 的複寫是非同步的,因此已由 primary 確認、但尚未複寫出去的寫入,會在 primary 故障時遺失。min-replicas-to-write 會在連線的 replica 太少時拒絕寫入,藉此限制暴露的風險。

監控行程如何判定 primary 已經故障?

某個行程在 down-after-milliseconds 內沒有收到回應,就會將其標記為主觀下線。當同意的行程數量達到所設定的 quorum,它就會變成客觀下線,容錯移轉隨即開始。

為什麼記憶體看起來正常,Redis 卻還是當機?

通常是背景儲存的 fork。由於寫入時複製,在寫入負載下進行快照時,記憶體可能逼近資料集的兩倍,因此使用率只有 60% 的節點,仍可能在儲存途中耗盡 RAM。容量規劃要以尖峰加上 fork 的額外負擔為準。

可以在 Kubernetes 上執行高可用的 Redis 嗎?

可以,前提是使用 StatefulSet、跨節點與可用區域的反親和性,以及同時涵蓋 Redis 與 Sentinel 的 PodDisruptionBudget。常見的故障是滾動更新同時驅逐了 primary 與構成 Sentinel quorum 的節點。

Redis Cluster 需要幾個節點才能達到高可用性?

六個:三個 primary,各搭配一個 replica。三個 primary 是在其中一個故障時,仍能為故障偵測與 replica 選舉形成多數的最小組合;而每個 primary 都有一個 replica,容錯移轉才有可能發生。請將這六個節點分散到至少三個故障域,並確保沒有任何 primary 與自己的 replica 共用同一台主機或 hypervisor。規模更大的叢集也遵循相同原則:盡可能讓 primary 數量維持奇數,而且絕不讓 primary 在沒有 replica 的情況下執行。AceMQ 的 Redis 技術支援涵蓋容錯移轉測試與拓樸審查,提供全天 24 小時、依方案而定、最快 15 分鐘起的回應目標。

參考資料

Scott Sternloff

作者

Scott Sternloff資深企業架構師

AceMQ 資深企業架構師。負責本站的技術類文章:RabbitMQ、Kafka 與 Redis 的架構、叢集與遷移。

指南、比較與研究

深入了解 Redis

免費諮詢

請專家檢視您的 Redis 部署

無論您是在排除正式環境事故、規劃遷移,還是想針對架構聽聽第二意見,我們的團隊都已準備就緒。不推銷,只給答案。

寄信給我們