本頁內容
您的團隊叫出 INFO server、INFO clients、INFO memory——一切看起來都正常。CPU 很低,記憶體在範圍內,slow log 也沒有任何紀錄。然而應用程式仍不斷拋出 Redis 逾時例外,依賴 Redis 的服務也逐漸降級甚至失敗。
這是一種非常常見、也非常令人困惑的故障模式,因為直覺會讓人先去看伺服器。但在我們處理過的案例中,問題幾乎從來不在伺服器上。
Redis 發生逾時、伺服器卻沒事時,真正該查的是哪裡?
依可能性高低,有三個地方:
- 用戶端設定——特別是逾時值、連線池大小與重試行為。
- 網路路徑——位於應用程式與 Redis 之間、會悄悄切斷閒置連線的防火牆、負載平衡器或 NAT 裝置。
- 大型 key 或阻塞式命令——阻塞 Redis 單執行緒事件迴圈夠久的操作,即使伺服器從未「掛掉」,也會導致用戶端逾時。
一個真實的正式環境案例可以讓這點更具體:某個客戶專案的範圍,完全圍繞著一個造成微服務中斷的 10 秒用戶端逾時。調查確認錯誤發生在用戶端,而不是 Redis 伺服器——伺服器端沒有記錄到任何對應的錯誤或變慢。找出根本原因需要深入分析用戶端與應用程式端的資源耗盡模式,而不是 Redis 執行個體本身。
連線總是在某個固定的維護時段中斷,這是怎麼回事?
這是網路層的症狀,而且在有排定防火牆維護的雲端與企業網路環境中,比團隊預期的更常見。
在其中一個案例中,防火牆維護事件導致所有通往 Redis 叢集的 TCP 連線同時中斷,維護時段本身持續三到五分鐘,造成完全的網路中斷,必須手動重新啟動應用程式。這根本不是 Redis 的問題——而是位於應用程式與 Redis 之間網路路徑上的基礎架構,在例行的防火牆升級中悄悄終止了既有連線。
如何確認這就是您的問題:
- 檢查逾時事故是否與固定排程(每晚、每週)相關,而不是與負載模式相關
- 直接詢問網路團隊,是否有排定的防火牆、負載平衡器或 NAT 閘道維護時段
- 可以的話,在該時段擷取流量——如果出現乾淨的 TCP RST 或連線無聲中斷,而 Redis 伺服器端沒有任何對應的日誌紀錄,就能確認元兇是網路層,而不是 Redis
哪些用戶端設定能真正解決 Redis 逾時問題?
最重要的有兩項設定,也正是某次實際修復中所採用的方法:TCP keepalive,以及用戶端層級的重試與逾時調校。
TCP Keepalive。如果沒有啟用 keepalive,位於防火牆或 NAT 裝置後方的閒置連線,就很容易被悄悄終止——作業系統層級的 TCP 堆疊要等到真正使用連線時,才知道它已經被切斷,這時您得到的是逾時,而不是乾淨的重新連線。以相當積極的間隔(遠低於防火牆/NAT 的閒置連線逾時)啟用 TCP keepalive,可以透過定期的空封包讓連線保持存活,或者夠快地判定失敗,讓連線池在應用程式使用之前就回收已失效的連線。
用戶端程式庫的重試與逾時設定。對於使用 Lettuce Redis 用戶端的 Java 應用程式(常與 Spring Data Redis 搭配),這代表要明確設定:
- 命令逾時(放棄前等待 Redis 回應的時間)
- 用戶端程式庫層級的 socket keepalive 選項,而不只是作業系統層級
- 針對暫時性連線失敗的重試政策,並區分「connection refused」(快速失敗)與「connection reset」(可以安全重試)
某次正式環境的修復專案,特別產出了一份摘要報告,提出伺服器端與用戶端兩側建議的 TCP keepalive 與重試設定,接著針對客戶的 Redis 叢集,以及 Lettuce 用戶端的逾時與重試參數,提供直接的設定調校指引。
逾時會不會其實是大型 key 造成的?
有可能——即使您已經找到網路或用戶端方面的因素,這一點仍值得排除,因為大型 key 會讓問題雪上加霜。
Redis 以單執行緒執行命令。對非常大的 key(巨大的 hash、龐大的 sorted set、大型 string)進行操作的命令,可能會阻塞事件迴圈夠久,讓其他用戶端的命令排隊並最終逾時,即使從整體 CPU 與記憶體指標來看,伺服器「看起來」很健康。
針對這種模式的相關調查,除了網路層的修正之外,也特別探討了以壓縮技術處理大型 Redis key 作為潛在的效能最佳化——因為在實際部署中,逾時的根本原因往往不是單一因素,而是網路可靠性處於邊緣,再加上偶爾出現的大型 key 操作,把延遲推過用戶端的逾時門檻。
如何檢查:在具代表性的流量時段執行 redis-cli --bigkeys,或對疑似大型的 key 使用 MEMORY USAGE <key>。如果發現有數 MB 等級的 key 被 HGETALL、SMEMBERS 或 LRANGE 這類命令不加限制地存取,那就是可能的元兇之一。
與其用猜的,有系統的診斷方式是什麼?
請依照以下順序逐步排查:
- 確認問題在用戶端。檢查 Redis 伺服器日誌與
INFO輸出中,是否有任何與逾時時段相關的跡象。如果伺服器端什麼都沒有,就能確認問題發生在 Redis 本身之前的環節。 - 檢查是否與排程相關。問題是否發生在一天中的特定時間或一週中的特定日子?這指向網路基礎架構的維護。
- 檢視用戶端設定。命令逾時、連線池大小、TCP keepalive 設定——與實際網路路徑的閒置連線容忍度互相對照。
- 排除大型 key 與阻塞式命令。執行
--bigkeys,並檢視命令模式中是否有對無上限集合進行操作的情況。 - 如果以上都無法解決,擷取封包層級的證據。在重現問題的時段擷取流量,就能明確看出連線是被網路裝置重設,還是在用戶端逾時。
一般的基礎架構團隊能診斷這個問題嗎?還是需要 Redis 專業知識?
Redis 專業知識確實很有幫助,主要是因為不論原因在 Redis 端、用戶端或網路端,症狀(逾時)看起來都一模一樣,而缺乏深入 Redis 維運經驗的團隊,往往一開始就調校了錯誤的那一層——通常是伺服器,因為那是名稱裡帶有「Redis」的元件。
本文提到的兩個正式環境案例,都需要跨團隊協作——應用程式/DevOps 團隊與 Redis 專家並肩合作,在防火牆案例中還需要網路/資安團隊直接參與——才能隔離出真正該負責的那一層。這種跨職能的診斷流程,正是結構化 Redis 評估發揮價值的地方:它不預設答案是「調校 Redis」,而是把故障一路追溯到它真正所在的位置。
十分鐘診斷 Redis 逾時
以下是我們執行命令的順序,以及每個結果能確認或排除什麼。這些全部也適用於 Valkey。
- 先從用戶端主機、再從伺服器主機執行
redis-cli --latency。在兩邊各執行--latency-history幾分鐘。只有用戶端主機出現尖峰,代表問題在網路路徑或用戶端機器;Redis 裡的任何設定都修不好。兩邊都出現尖峰,代表伺服器發生停頓,請繼續往下排查。
SLOWLOG GET 25與INFO commandstats。slowlog 會列出超過slowlog-log-slower-than(預設 10 ms)的個別命令。commandstats 則顯示每種命令類型的usec_per_call,即使沒有任何一次呼叫進入 slowlog,也能抓出平均 40 ms 的KEYS。常見的元兇是KEYS、對大型 set 執行的SMEMBERS、對寬 hash 執行的HGETALL、SUNION這類集合運算,以及含迴圈的 Lua 指令碼。每一個都會在執行期間阻塞所有其他用戶端。
INFO clients。使用BLPOP或 streams 時,blocked_clients大於零是正常的;否則就是有東西在等待一個永遠不會出現的 key。比較client_recent_max_output_buffer與CONFIG GET client-output-buffer-limit:緩慢的訂閱者或副本會塞滿緩衝區,觸發上限後伺服器就會切斷連線,而用戶端會把它回報為逾時。
INFO persistence。將rdb_bgsave_in_progress、aof_rewrite_in_progress與latest_fork_usec對照逾時的時間戳記。在大型資料集上 fork,會讓主執行緒暫停數百毫秒,接下來的 copy-on-write 還會拖慢每一次寫入。如果逾時總是發生在每小時的同一分鐘,幾乎都是排定的BGSAVE。
INFO stats。evicted_keys暴增代表已達到maxmemory,伺服器正忙著挑選要淘汰的 key;expired_keys暴增則代表 TTL 斷崖,也就是大量 key 在同一秒到期。兩者都會讓事件迴圈停頓。修正方式請參閱我們的 Redis 記憶體指南,以及關於key 數量沒有增加、記憶體卻持續成長的常見問題。
CLIENT LIST。依addr與name計算連線數。如果連線池一直卡在上限、請求卻在排隊,代表所謂的「逾時」其實是在等待空閒連線,而不是回應太慢。某一筆項目的qbuf或omem偏高,則指向某個行為異常的用戶端。
- 主機。在 VM 上,
vmstat 1的 steal 欄位不為零,代表 hypervisor 正在佔用您的 CPU。cat /sys/kernel/mm/transparent_hugepage/enabled應該顯示never;Redis 與 Valkey 在啟動時會對此發出警告,因為 THP 會拉長 fork 的暫停時間。Redis 主機上只要有任何 swap 使用,就是值得記錄的發現。
- 最後才看用戶端設定。到這時才去看連線池大小、socket 逾時與重試政策。如果從這裡開始,您會把逾時調高、掩蓋症狀,然後一個月後又回到原點。
在我們的技術支援工作中,第 2 步找到原因的次數比其他步驟加起來還多,第 4 步則是明顯的第二名。網路原因比一般人以為的少見,這也是為什麼第 1 步只用兩分鐘就能釐清這個問題。更完整的 runbook 請參閱 Redis 疑難排解。
各用戶端的逾時錯誤與其通常代表的意義
- Jedis。
JedisConnectionException: Could not get a resource from the pool代表連線池耗盡:連線沒有歸還(缺少close()或 try-with-resources),或是maxTotal相對於執行緒數量太低。包著SocketTimeoutException: Read timed out的JedisConnectionException則是讀取逾時,通常是第 2 步中某個慢命令觸發了預設的 2,000 ms。 - Lettuce。
RedisCommandTimeoutException: Command timed out after 1 minute(s)是預設的 60 秒逾時,這也是為什麼 Lettuce 的請求會卡住,而不是快速失敗。Lettuce 會在單一連線上多工傳送命令,因此一個慢命令就會卡住排在它後面的所有人。重新連線期間,命令會在記憶體中排隊,接著集中爆發逾時。 - StackExchange.Redis。
RedisTimeoutException: Timeout performing GET (5000ms), inst: 0, qu: 0, qs: 12, aw: False, in: 65536, ...的解讀方式如下:qs是已送出、正在等待回應的命令,qu是尚未寫出的命令,in是已收到但尚未處理的位元組,mgr則顯示 socket manager 的狀態。in與qs都偏高,代表回應已經抵達、用戶端卻讀不了,這是執行緒池飢餓,通常是因為在 Web 請求程式碼中以.Result或.Wait()進行阻塞。請檢查同一則訊息中的WORKER行:busy 高於 min 即可確認。 - node-redis 與 ioredis。兩者都把連線逾時與命令行為分開處理。ioredis 有
connectTimeout、commandTimeout與maxRetriesPerRequest(預設 20),因此MaxRetriesPerRequestError代表重新連線迴圈放棄了,而不是 Redis 太慢。永遠回傳短延遲的retryStrategy會造成日誌洪水,而且永遠不會浮現真正的錯誤。node-redis 使用reconnectStrategy,在較舊的版本中沒有逐命令逾時,因此伺服器停頓時產生的是懸而未決的 promise,而不是錯誤。 - redis-py。
socket_connect_timeout限制 TCP 交握時間;socket_timeout限制每次讀取,預設為無,因此停頓的呼叫會永遠等下去。TimeoutError: Timeout reading from socket就是後者。health_check_interval會在重複使用閒置連線之前送出PING,可以修正防火牆切斷閒置 socket 後出現的ConnectionError: Connection closed by server。 - Go 用戶端。
context deadline exceeded來自呼叫端的 context,而不是用戶端自己的逾時,所以兩者都要檢查。redis: connection pool timeout代表 goroutine 數量超過PoolSize,等待空閒連線的時間超過了PoolTimeout;請加大連線池,或找出 goroutine 洩漏。
如果您寧願把這件事交給每天都在處理的人,我們的 Redis 技術支援團隊 24/7 待命,提供 依方案而定、最快 15 分鐘起的回應目標;Redis 顧問服務則會修正底層設計。
取得 Redis 用戶端逾時與連線問題的協助
遇到 Redis 逾時,卻和 Redis 伺服器指標上看得到的任何東西都對不上?這正是那種分層的問題——用戶端、網路或伺服器——而結構化的 Redis 評估就是為了隔離它而設計,不靠猜測。AceMQ 為正式環境提供企業級 Redis 技術支援。與 AceMQ 工程師聯絡。
這是 Redis 可靠性指南七個步驟中的第四步,該指南依照問題在正式環境中出現的順序逐一說明。
常見問題
Redis 出現逾時,但伺服器指標看起來都正常,該從哪裡查起?
依可能性高低,有三個地方:用戶端設定(逾時值、連線池大小、重試行為)、網路路徑(防火牆、負載平衡器或 NAT 裝置悄悄切斷閒置連線),以及會卡住單執行緒事件迴圈的大型 key 或阻塞式命令。在一個真實的正式環境案例中,10 秒的用戶端逾時最後完全追溯到用戶端的資源耗盡,伺服器端沒有任何對應的錯誤或變慢跡象。
為什麼 Redis 連線總是在某個固定的維護時段中斷?
這幾乎都是網路層的症狀,而不是 Redis 的問題。排定的防火牆、負載平衡器或 NAT 閘道維護,可能會悄悄終止通往 Redis 叢集的既有 TCP 連線。確認方式是檢查事故是否與某個固定排程相關,而不是與負載相關,並直接向網路團隊詢問維護時段。
哪些用戶端設定能真正解決 Redis 逾時問題?
最重要的兩項設定是 TCP keepalive,以及用戶端層級的重試與逾時調校。以低於防火牆或 NAT 閒置連線逾時的間隔啟用 TCP keepalive,可以避免連線被悄悄終止;再於用戶端程式庫層級(例如 Java/Spring 使用的 Lettuce)設定命令逾時、socket 層級的 keepalive 與重試政策,就能補上其餘的缺口。
大型 key 會造成 Redis 逾時嗎?
會。Redis 以單執行緒執行命令,因此對非常大的 hash、sorted set 或 string 執行的命令,可能會阻塞事件迴圈夠久,讓其他用戶端的命令排隊並逾時。請執行 redis-cli --bigkeys 或 MEMORY USAGE <key> 檢查,並留意是否有對數 MB 等級的 key 不加限制地使用 HGETALL、SMEMBERS 或 LRANGE。
有系統地診斷 Redis 用戶端逾時,步驟是什麼?
先檢查 Redis 伺服器日誌與 INFO 輸出中,是否有任何與逾時時段相關的跡象,以確認問題在用戶端。接著檢查是否與排程相關、對照網路路徑的閒置連線容忍度檢視用戶端設定、排除大型 key 與阻塞式命令;若問題持續,再擷取封包層級的證據。
診斷 Redis 逾時需要 Redis 專業知識嗎?
確實很有幫助,因為不論原因在 Redis 端、用戶端或網路端,逾時看起來都一模一樣,而缺乏 Redis 經驗的團隊往往預設先調校伺服器。本文提到的兩個正式環境案例,都需要應用程式、DevOps 與網路團隊跨團隊協作,才能隔離出真正該負責的那一層。