Redis

伺服器看起來很健康,Redis 用戶端為什麼還是逾時?

Scott Sternloff

作者:Scott Sternloff(資深企業架構師)

LinkedIn · 更新日期:

CLIENTappSERVERhealthy10s TIMEOUTClient Timeout, Server Fine
本頁內容

您的團隊叫出 INFO server、INFO clients、INFO memory——一切看起來都正常。CPU 很低,記憶體在範圍內,slow log 也沒有任何紀錄。然而應用程式仍不斷拋出 Redis 逾時例外,依賴 Redis 的服務也逐漸降級甚至失敗。

這是一種非常常見、也非常令人困惑的故障模式,因為直覺會讓人先去看伺服器。但在我們處理過的案例中,問題幾乎從來不在伺服器上。

Redis 發生逾時、伺服器卻沒事時,真正該查的是哪裡?

依可能性高低,有三個地方:

  1. 用戶端設定——特別是逾時值、連線池大小與重試行為。
  2. 網路路徑——位於應用程式與 Redis 之間、會悄悄切斷閒置連線的防火牆、負載平衡器或 NAT 裝置。
  3. 大型 key 或阻塞式命令——阻塞 Redis 單執行緒事件迴圈夠久的操作,即使伺服器從未「掛掉」,也會導致用戶端逾時。

一個真實的正式環境案例可以讓這點更具體:某個客戶專案的範圍,完全圍繞著一個造成微服務中斷的 10 秒用戶端逾時。調查確認錯誤發生在用戶端,而不是 Redis 伺服器——伺服器端沒有記錄到任何對應的錯誤或變慢。找出根本原因需要深入分析用戶端與應用程式端的資源耗盡模式,而不是 Redis 執行個體本身。

連線總是在某個固定的維護時段中斷,這是怎麼回事?

這是網路層的症狀,而且在有排定防火牆維護的雲端與企業網路環境中,比團隊預期的更常見。

在其中一個案例中,防火牆維護事件導致所有通往 Redis 叢集的 TCP 連線同時中斷,維護時段本身持續三到五分鐘,造成完全的網路中斷,必須手動重新啟動應用程式。這根本不是 Redis 的問題——而是位於應用程式與 Redis 之間網路路徑上的基礎架構,在例行的防火牆升級中悄悄終止了既有連線。

如何確認這就是您的問題:

  • 檢查逾時事故是否與固定排程(每晚、每週)相關,而不是與負載模式相關
  • 直接詢問網路團隊,是否有排定的防火牆、負載平衡器或 NAT 閘道維護時段
  • 可以的話,在該時段擷取流量——如果出現乾淨的 TCP RST 或連線無聲中斷,而 Redis 伺服器端沒有任何對應的日誌紀錄,就能確認元兇是網路層,而不是 Redis

哪些用戶端設定能真正解決 Redis 逾時問題?

最重要的有兩項設定,也正是某次實際修復中所採用的方法:TCP keepalive,以及用戶端層級的重試與逾時調校。

TCP Keepalive。如果沒有啟用 keepalive,位於防火牆或 NAT 裝置後方的閒置連線,就很容易被悄悄終止——作業系統層級的 TCP 堆疊要等到真正使用連線時,才知道它已經被切斷,這時您得到的是逾時,而不是乾淨的重新連線。以相當積極的間隔(遠低於防火牆/NAT 的閒置連線逾時)啟用 TCP keepalive,可以透過定期的空封包讓連線保持存活,或者夠快地判定失敗,讓連線池在應用程式使用之前就回收已失效的連線。

用戶端程式庫的重試與逾時設定。對於使用 Lettuce Redis 用戶端的 Java 應用程式(常與 Spring Data Redis 搭配),這代表要明確設定:

  • 命令逾時(放棄前等待 Redis 回應的時間)
  • 用戶端程式庫層級的 socket keepalive 選項,而不只是作業系統層級
  • 針對暫時性連線失敗的重試政策,並區分「connection refused」(快速失敗)與「connection reset」(可以安全重試)

某次正式環境的修復專案,特別產出了一份摘要報告,提出伺服器端與用戶端兩側建議的 TCP keepalive 與重試設定,接著針對客戶的 Redis 叢集,以及 Lettuce 用戶端的逾時與重試參數,提供直接的設定調校指引。

逾時會不會其實是大型 key 造成的?

有可能——即使您已經找到網路或用戶端方面的因素,這一點仍值得排除,因為大型 key 會讓問題雪上加霜。

Redis 以單執行緒執行命令。對非常大的 key(巨大的 hash、龐大的 sorted set、大型 string)進行操作的命令,可能會阻塞事件迴圈夠久,讓其他用戶端的命令排隊並最終逾時,即使從整體 CPU 與記憶體指標來看,伺服器「看起來」很健康。

針對這種模式的相關調查,除了網路層的修正之外,也特別探討了以壓縮技術處理大型 Redis key 作為潛在的效能最佳化——因為在實際部署中,逾時的根本原因往往不是單一因素,而是網路可靠性處於邊緣,再加上偶爾出現的大型 key 操作,把延遲推過用戶端的逾時門檻。

如何檢查:在具代表性的流量時段執行 redis-cli --bigkeys,或對疑似大型的 key 使用 MEMORY USAGE <key>。如果發現有數 MB 等級的 key 被 HGETALL、SMEMBERS 或 LRANGE 這類命令不加限制地存取,那就是可能的元兇之一。

與其用猜的,有系統的診斷方式是什麼?

請依照以下順序逐步排查:

  1. 確認問題在用戶端。檢查 Redis 伺服器日誌與 INFO 輸出中,是否有任何與逾時時段相關的跡象。如果伺服器端什麼都沒有,就能確認問題發生在 Redis 本身之前的環節。
  2. 檢查是否與排程相關。問題是否發生在一天中的特定時間或一週中的特定日子?這指向網路基礎架構的維護。
  3. 檢視用戶端設定。命令逾時、連線池大小、TCP keepalive 設定——與實際網路路徑的閒置連線容忍度互相對照。
  4. 排除大型 key 與阻塞式命令。執行 --bigkeys,並檢視命令模式中是否有對無上限集合進行操作的情況。
  5. 如果以上都無法解決,擷取封包層級的證據。在重現問題的時段擷取流量,就能明確看出連線是被網路裝置重設,還是在用戶端逾時。

依方案而定、最快 15 分鐘起的回應目標。專屬資深工程師。

聯絡我們

一般的基礎架構團隊能診斷這個問題嗎?還是需要 Redis 專業知識?

Redis 專業知識確實很有幫助,主要是因為不論原因在 Redis 端、用戶端或網路端,症狀(逾時)看起來都一模一樣,而缺乏深入 Redis 維運經驗的團隊,往往一開始就調校了錯誤的那一層——通常是伺服器,因為那是名稱裡帶有「Redis」的元件。

本文提到的兩個正式環境案例,都需要跨團隊協作——應用程式/DevOps 團隊與 Redis 專家並肩合作,在防火牆案例中還需要網路/資安團隊直接參與——才能隔離出真正該負責的那一層。這種跨職能的診斷流程,正是結構化 Redis 評估發揮價值的地方:它不預設答案是「調校 Redis」,而是把故障一路追溯到它真正所在的位置。

十分鐘診斷 Redis 逾時

以下是我們執行命令的順序,以及每個結果能確認或排除什麼。這些全部也適用於 Valkey。

  1. 先從用戶端主機、再從伺服器主機執行 redis-cli --latency。在兩邊各執行 --latency-history 幾分鐘。只有用戶端主機出現尖峰,代表問題在網路路徑或用戶端機器;Redis 裡的任何設定都修不好。兩邊都出現尖峰,代表伺服器發生停頓,請繼續往下排查。
  1. SLOWLOG GET 25 與 INFO commandstats。slowlog 會列出超過 slowlog-log-slower-than(預設 10 ms)的個別命令。commandstats 則顯示每種命令類型的 usec_per_call,即使沒有任何一次呼叫進入 slowlog,也能抓出平均 40 ms 的 KEYS。常見的元兇是 KEYS、對大型 set 執行的 SMEMBERS、對寬 hash 執行的 HGETALL、SUNION 這類集合運算,以及含迴圈的 Lua 指令碼。每一個都會在執行期間阻塞所有其他用戶端。
  1. INFO clients。使用 BLPOP 或 streams 時,blocked_clients 大於零是正常的;否則就是有東西在等待一個永遠不會出現的 key。比較 client_recent_max_output_buffer 與 CONFIG GET client-output-buffer-limit:緩慢的訂閱者或副本會塞滿緩衝區,觸發上限後伺服器就會切斷連線,而用戶端會把它回報為逾時。
  1. INFO persistence。將 rdb_bgsave_in_progress、aof_rewrite_in_progress 與 latest_fork_usec 對照逾時的時間戳記。在大型資料集上 fork,會讓主執行緒暫停數百毫秒,接下來的 copy-on-write 還會拖慢每一次寫入。如果逾時總是發生在每小時的同一分鐘,幾乎都是排定的 BGSAVE。
  1. INFO stats。evicted_keys 暴增代表已達到 maxmemory,伺服器正忙著挑選要淘汰的 key;expired_keys 暴增則代表 TTL 斷崖,也就是大量 key 在同一秒到期。兩者都會讓事件迴圈停頓。修正方式請參閱我們的 Redis 記憶體指南,以及關於key 數量沒有增加、記憶體卻持續成長的常見問題。
  1. CLIENT LIST。依 addr 與 name 計算連線數。如果連線池一直卡在上限、請求卻在排隊,代表所謂的「逾時」其實是在等待空閒連線,而不是回應太慢。某一筆項目的 qbuf 或 omem 偏高,則指向某個行為異常的用戶端。
  1. 主機。在 VM 上,vmstat 1 的 steal 欄位不為零,代表 hypervisor 正在佔用您的 CPU。cat /sys/kernel/mm/transparent_hugepage/enabled 應該顯示 never;Redis 與 Valkey 在啟動時會對此發出警告,因為 THP 會拉長 fork 的暫停時間。Redis 主機上只要有任何 swap 使用,就是值得記錄的發現。
  1. 最後才看用戶端設定。到這時才去看連線池大小、socket 逾時與重試政策。如果從這裡開始,您會把逾時調高、掩蓋症狀,然後一個月後又回到原點。

在我們的技術支援工作中,第 2 步找到原因的次數比其他步驟加起來還多,第 4 步則是明顯的第二名。網路原因比一般人以為的少見,這也是為什麼第 1 步只用兩分鐘就能釐清這個問題。更完整的 runbook 請參閱 Redis 疑難排解。

各用戶端的逾時錯誤與其通常代表的意義

  • Jedis。JedisConnectionException: Could not get a resource from the pool 代表連線池耗盡:連線沒有歸還(缺少 close() 或 try-with-resources),或是 maxTotal 相對於執行緒數量太低。包著 SocketTimeoutException: Read timed out 的 JedisConnectionException 則是讀取逾時,通常是第 2 步中某個慢命令觸發了預設的 2,000 ms。
  • Lettuce。RedisCommandTimeoutException: Command timed out after 1 minute(s) 是預設的 60 秒逾時,這也是為什麼 Lettuce 的請求會卡住,而不是快速失敗。Lettuce 會在單一連線上多工傳送命令,因此一個慢命令就會卡住排在它後面的所有人。重新連線期間,命令會在記憶體中排隊,接著集中爆發逾時。
  • StackExchange.Redis。RedisTimeoutException: Timeout performing GET (5000ms), inst: 0, qu: 0, qs: 12, aw: False, in: 65536, ... 的解讀方式如下:qs 是已送出、正在等待回應的命令,qu 是尚未寫出的命令,in 是已收到但尚未處理的位元組,mgr 則顯示 socket manager 的狀態。in 與 qs 都偏高,代表回應已經抵達、用戶端卻讀不了,這是執行緒池飢餓,通常是因為在 Web 請求程式碼中以 .Result 或 .Wait() 進行阻塞。請檢查同一則訊息中的 WORKER 行:busy 高於 min 即可確認。
  • node-redis 與 ioredis。兩者都把連線逾時與命令行為分開處理。ioredis 有 connectTimeout、commandTimeout 與 maxRetriesPerRequest(預設 20),因此 MaxRetriesPerRequestError 代表重新連線迴圈放棄了,而不是 Redis 太慢。永遠回傳短延遲的 retryStrategy 會造成日誌洪水,而且永遠不會浮現真正的錯誤。node-redis 使用 reconnectStrategy,在較舊的版本中沒有逐命令逾時,因此伺服器停頓時產生的是懸而未決的 promise,而不是錯誤。
  • redis-py。socket_connect_timeout 限制 TCP 交握時間;socket_timeout 限制每次讀取,預設為無,因此停頓的呼叫會永遠等下去。TimeoutError: Timeout reading from socket 就是後者。health_check_interval 會在重複使用閒置連線之前送出 PING,可以修正防火牆切斷閒置 socket 後出現的 ConnectionError: Connection closed by server。
  • Go 用戶端。context deadline exceeded 來自呼叫端的 context,而不是用戶端自己的逾時,所以兩者都要檢查。redis: connection pool timeout 代表 goroutine 數量超過 PoolSize,等待空閒連線的時間超過了 PoolTimeout;請加大連線池,或找出 goroutine 洩漏。

如果您寧願把這件事交給每天都在處理的人,我們的 Redis 技術支援團隊 24/7 待命,提供 依方案而定、最快 15 分鐘起的回應目標;Redis 顧問服務則會修正底層設計。

取得 Redis 用戶端逾時與連線問題的協助

遇到 Redis 逾時,卻和 Redis 伺服器指標上看得到的任何東西都對不上?這正是那種分層的問題——用戶端、網路或伺服器——而結構化的 Redis 評估就是為了隔離它而設計,不靠猜測。AceMQ 為正式環境提供企業級 Redis 技術支援。與 AceMQ 工程師聯絡。

這是 Redis 可靠性指南七個步驟中的第四步,該指南依照問題在正式環境中出現的順序逐一說明。

常見問題

Redis 出現逾時,但伺服器指標看起來都正常,該從哪裡查起?

依可能性高低,有三個地方:用戶端設定(逾時值、連線池大小、重試行為)、網路路徑(防火牆、負載平衡器或 NAT 裝置悄悄切斷閒置連線),以及會卡住單執行緒事件迴圈的大型 key 或阻塞式命令。在一個真實的正式環境案例中,10 秒的用戶端逾時最後完全追溯到用戶端的資源耗盡,伺服器端沒有任何對應的錯誤或變慢跡象。

為什麼 Redis 連線總是在某個固定的維護時段中斷?

這幾乎都是網路層的症狀,而不是 Redis 的問題。排定的防火牆、負載平衡器或 NAT 閘道維護,可能會悄悄終止通往 Redis 叢集的既有 TCP 連線。確認方式是檢查事故是否與某個固定排程相關,而不是與負載相關,並直接向網路團隊詢問維護時段。

哪些用戶端設定能真正解決 Redis 逾時問題?

最重要的兩項設定是 TCP keepalive,以及用戶端層級的重試與逾時調校。以低於防火牆或 NAT 閒置連線逾時的間隔啟用 TCP keepalive,可以避免連線被悄悄終止;再於用戶端程式庫層級(例如 Java/Spring 使用的 Lettuce)設定命令逾時、socket 層級的 keepalive 與重試政策,就能補上其餘的缺口。

大型 key 會造成 Redis 逾時嗎?

會。Redis 以單執行緒執行命令,因此對非常大的 hash、sorted set 或 string 執行的命令,可能會阻塞事件迴圈夠久,讓其他用戶端的命令排隊並逾時。請執行 redis-cli --bigkeys 或 MEMORY USAGE <key> 檢查,並留意是否有對數 MB 等級的 key 不加限制地使用 HGETALL、SMEMBERS 或 LRANGE。

有系統地診斷 Redis 用戶端逾時,步驟是什麼?

先檢查 Redis 伺服器日誌與 INFO 輸出中,是否有任何與逾時時段相關的跡象,以確認問題在用戶端。接著檢查是否與排程相關、對照網路路徑的閒置連線容忍度檢視用戶端設定、排除大型 key 與阻塞式命令;若問題持續,再擷取封包層級的證據。

診斷 Redis 逾時需要 Redis 專業知識嗎?

確實很有幫助,因為不論原因在 Redis 端、用戶端或網路端,逾時看起來都一模一樣,而缺乏 Redis 經驗的團隊往往預設先調校伺服器。本文提到的兩個正式環境案例,都需要應用程式、DevOps 與網路團隊跨團隊協作,才能隔離出真正該負責的那一層。

免費諮詢

請專家檢視您的 Redis 部署

無論您是在排除正式環境事故、規劃遷移,還是想針對架構聽聽第二意見,我們的團隊都已準備就緒。不推銷,只給答案。

寄信給我們