本頁內容
您查看 INFO memory,發現已用記憶體不斷攀升;再查看鍵數量,卻持平不變,甚至還在減少。這是 Redis 維運中最讓人摸不著頭緒的故障模式之一:數字根本兜不攏,團隊往往花上好幾天追查錯誤的對象,才找到真正的元兇。
本文根據一次歷時數週的真實正式環境調查,帶您走過診斷與修正的過程,包括真正關鍵的指令與門檻值。
如果鍵數量持平,記憶體為什麼還在成長?
在絕大多數情況下,答案是:問題不在您的鍵,而在您的索引。
如果您執行的是 RediSearch(全文/次要索引模組)或任何類似的索引模組,索引本身就會獨立於主要鍵空間之外耗用記憶體。一個無限制成長的索引,往往是因為重建或更新的頻率遠高於預期,可能在 DBSIZE 毫無異狀的情況下逼近您的 maxmemory 上限。
這正是在一次分多階段進行的 Redis 評估中直接診斷出來的情況:團隊確認記憶體洩漏與 Redis 全文索引外掛有關,記憶體用量攀升到將近 60%,並在重新索引作業期間引發當機。Justin Clark 與 Eugene Abovsky 判定這是索引模組中的軟體錯誤,既不是硬體或設定問題,也完全不是發生在主要鍵空間中的問題。
第一個診斷步驟:對每一個搜尋索引執行 FT.INFO <index_name>,查看回報的索引記憶體用量,並與 INFO memory 中的 used_memory 總量相比較。如果索引所佔的比例不成比例且持續增加,您就找到了洩漏的來源:問題不在資料,而在建立於資料之上的索引結構。
具體來說,是什麼原因讓索引像這樣洩漏記憶體?
最常見的根本原因,是高頻率、低價值的更新所引發的過度重新索引。
在一次正式環境調查中,團隊將洩漏追溯到裝置心跳更新:每一次心跳都會觸發相關文件的完整重新索引,即使實際的變更微不足道。每一次重新索引作業都會留下未被回收的記憶體,而由於心跳持續不斷地觸發,洩漏在數小時內不斷累積,直到執行個體當機。
同一次調查中找出的第二個助長因素:為不需要索引的欄位建立索引,例如 UUID 欄位。為 UUID 這類高基數欄位建立索引,會大幅膨脹索引的記憶體用量,對查詢卻幾乎沒有幫助,因為 UUID 很少是範圍查詢或模糊搜尋的目標。
可以拿來檢視自家部署的診斷問題:
- 實際上有哪些欄位被建立索引?查詢真的會用到所有這些欄位嗎?
- 什麼會觸發文件更新?是有意義的狀態變化,還是心跳或時間戳記跳動這類高頻率訊號?
- 是否有排程的重新索引作業在執行?它是否真的有完成並釋放記憶體,還是在不知不覺中失敗?
要立即穩定一個正在洩漏記憶體的 Redis 執行個體,最快的方法是什麼?
如果您正處於事件當中,記憶體逼近上限、當機一觸即發,有一個經過驗證的權宜之計:刪除並重建受影響的索引。
這無法解決根本原因,但作為立即的緩解措施,能可靠地回收洩漏的記憶體。在一起事件中,刪除並重建索引後,記憶體用量從設定上限的 50% 降到 36%,在開發根本修正的同時,提供了足夠的餘裕讓系統穩定下來。
權宜處理程序:
- 透過
FT.INFO確認哪一個索引不成比例地成長 - 盡可能將刪除/重建排在低流量時段,因為重建大型索引並非瞬間完成,期間會短暫影響查詢的可用性
- 執行
FT.DROPINDEX <index_name>(如果您想保留底層的 hash/JSON 資料,就不要加上DD,因為您只想移除索引結構,而不是您的鍵) - 以
FT.CREATE重新建立索引 - 之後持續監控
FT.INFO與INFO memory,確認回收的記憶體沒有再被吃掉
在這種情況一再發生的正式環境中,可以將它自動化為排程作業,但請把它當成緩解措施,而不是修正。在沒有處理重新索引觸發原因的情況下將權宜之計自動化,只是把當機的時間點往後推而已。
哪些設定變更真正能防止當機?
除了修正重新索引的觸發原因本身之外,在開發根本修正的期間,還有兩項設定層級的變更能縮小影響範圍:
設定明確的 maxmemory 並搭配合適的逐出政策。在一起事件中,團隊為了保護關鍵客戶的系統穩定性,特別設定了新的最大記憶體值,並搭配 allkeys-lru 逐出政策,以犧牲部分快取命中率,換取執行個體不會因記憶體耗盡而直接當機的保證。這是在記憶體洩漏調查期間,刻意選擇穩定優先於效能的取捨,未必是永久的設定。
在適用之處調校垃圾回收行為。在大量使用模組的 Redis 部署中,曾特別測試積極的 GC 調校來改善記憶體保留行為;如果您的模組廠商有提供與 GC 相關的設定,就值得深入研究。
將高頻率、低價值的資料與已建立索引的鍵分開。在這次調查中找出的最長久修正,是架構層面的:將變動頻繁的心跳類資料與已建立索引的鍵完全分開,讓例行的狀態 ping 完全不會觸發重新索引。如果您的應用程式模式,是在一份大致穩定的文件上頻繁更新其中一小部分欄位,請考慮將這些變動頻繁的欄位存放在獨立、未建立索引的鍵中。
我應該升級 Redis 版本來修正這個問題嗎?
也許,但請先驗證具體的錯誤。在本文通篇引用的調查中,由於受影響的環境執行的是較舊的版本,診斷過程的一部分,就是檢視這個記憶體洩漏是否為較新 Redis 版本中已知且已修補的問題。團隊對搜尋模組的原始碼進行了獨立的程式碼分析,以確認已知的修補版本是否解決了所觀察到的特定洩漏模式。
在把升級當成解法之前,請先確認:
- 您執行的特定模組版本,是否在後續版本中有文件記載的記憶體洩漏修正
- 洩漏究竟出在模組本身,還是您的索引模式(升級無法解決 UUID 索引的問題)
- 您是否有經過測試的回復計畫,因為在正式環境中升級 Redis 版本,與升級任何有狀態服務一樣需要謹慎
這是考慮遷移到 Valkey 的理由嗎?
值得作為更全面修復計畫的一部分加以評估,特別是如果您同時也在權衡授權方面的考量。有些面臨同樣模組相關不穩定問題的團隊,就把這次調查當成機會,平行測試 Valkey 的相容性,在決定往哪個方向走之前,驗證既有的用戶端程式碼與索引模式在 Valkey 上的行為是否完全相同。我們會另文更深入地探討這個決策。
穩定之後,持續監控應該怎麼做?
在處理完立即的當機風險之後,請建立永久性的監控機制,避免問題在不知不覺中再次發生:
- 將索引記憶體列為獨立指標追蹤,而不只是看
used_memory總量。在儀表板上並列顯示FT.INFO記憶體與總記憶體,就能讓下一次洩漏及早被看見,而不是等到使用率 60% 時才發現。 - 針對重新索引作業的頻率與時間設定告警。如果重新索引的節奏出現非預期的變化,例如變得更頻繁,或是在不知不覺中無法完成,那就是您的早期警訊。
- 確認您的 maxmemory 逐出政策符合您對資料遺失的實際容忍度。
allkeys-lru雖能保護穩定性,卻會在壓力下逐出資料;如果這對您的使用情境來說無法接受,真正的解法就必須是處理重新索引的觸發原因,而不是逐出政策。
取得 Redis 記憶體洩漏與索引成長問題的協助
看到 Redis 記憶體在鍵數量不變的情況下持續攀升嗎?這正是我們會追查到真正源頭的問題模式:索引成長、重新索引觸發原因,以及一般基礎架構調校抓不到的模組錯誤。AceMQ 為正式環境提供企業級 Redis 技術支援。與 AceMQ 工程師洽談。
這是 Redis 可靠性指南七個步驟中的第三步;該指南依照各項問題在正式環境中出現的順序逐一說明。
常見問題
如果 Redis 的鍵數量持平,記憶體為什麼還在成長?
在絕大多數情況下,成長來自索引,而不是您的鍵空間。RediSearch 與類似的索引模組會獨立於主要鍵空間之外耗用記憶體;一個重建或更新過於頻繁的索引,可能在 DBSIZE 毫無異狀的情況下逼近 maxmemory。請對每個搜尋索引執行 FT.INFO <index_name>,並將其記憶體用量與 INFO memory 中的 used_memory 總量相比較,加以確認。
什麼原因會讓 Redis 索引像這樣洩漏記憶體?
最常見的根本原因,是高頻率、低價值的更新所引發的過度重新索引,例如每次 ping 都會觸發整份文件重新索引的心跳欄位。第二個助長因素,是為不需要索引的欄位建立索引,例如高基數的 UUID 欄位,這會讓索引記憶體大幅膨脹,對查詢卻幾乎沒有幫助。
要立即穩定一個正在洩漏記憶體的 Redis 執行個體,最快的方法是什麼?
刪除並重建受影響的索引。這無法解決根本原因,但作為立即的緩解措施,能可靠地回收洩漏的記憶體;在一起事件中,它讓用量從設定上限的 50% 降到 36%。請排在低流量時段進行,先以 FT.INFO 確認正在成長的索引,再執行 FT.DROPINDEX(不加 DD 以保留資料),並以 FT.CREATE 重新建立。
哪些設定變更真正能防止 Redis 記憶體洩漏導致當機?
設定明確的 maxmemory 並搭配 allkeys-lru 逐出政策,讓執行個體不會因記憶體耗盡而直接當機,即使會犧牲一些快取命中率。如果模組廠商有提供相關設定,就調校垃圾回收行為。最長久的做法,則是把心跳之類高頻率、低價值的資料與已建立索引的鍵分開,讓例行更新完全不再觸發重新索引。
我應該升級 Redis 版本來修正記憶體洩漏嗎?
也許,但請先驗證具體的錯誤。在決定升級之前,請確認您執行的模組版本是否在後續版本中有文件記載的記憶體洩漏修正、洩漏究竟出在模組本身還是您的索引模式,以及您是否有經過測試的回復計畫。
Redis 記憶體洩漏是考慮遷移到 Valkey 的理由嗎?
值得作為更全面修復計畫的一部分加以評估,特別是如果您同時也在權衡授權方面的考量。平行測試 Valkey 的相容性,驗證您的用戶端程式碼與索引模式在 Valkey 上的行為完全相同,就能在不必事先承諾的情況下評估這個選項。
穩定 Redis 記憶體洩漏之後,持續監控應該怎麼做?
將索引記憶體列為獨立指標,與 used_memory 總量並列追蹤,而不是只看彙總數字。針對重新索引作業的頻率與時間設定告警,以便及早發現非預期的變化。並確認您的 maxmemory 逐出政策確實符合您對資料遺失的容忍度,因為 allkeys-lru 雖能保護穩定性,卻會在壓力下逐出資料。