概覽
一個提供即時螢幕分享的 SaaS 平台,其 Redis 叢集的記憶體在兩次重新啟動之間穩定攀升,而且從不回落。重新啟動就能清除,這讓問題變得容易忍受,也容易誤判。AceMQ 以六次、總計十四小時的即時工作階段進行這次合作,客戶的工程師全程參與,而不是在數週後才收到一份書面報告。
挑戰
兩個不同的問題以同一個症狀出現。記憶體上限被錯誤設定為 7GB,因此執行個體在應該進行 eviction 時沒有這麼做;而 Redis Search 在一種索引設計時未曾考慮的高頻率寫入模式下效能逐漸下降。任何一個問題單獨存在都還撐得住,但兩者加在一起,就造成看起來像典型記憶體洩漏的成長,而且常見的 eviction 策略修正也起不了作用。
環境
容器化的 Redis,以 Sentinel 管理 failover,為即時協作產品提供 session 狀態儲存。
做法
這些工作階段刻意採用互動形式:重現、量測、只改變一個變數、再量測一次。這種形式讓團隊能將上限設定錯誤與 Redis Search 的行為區分開來,而不是同時套用兩項修正,結果什麼也學不到。
解決方案
- 修正記憶體上限,讓 eviction 策略能在預定門檻真正生效
- 確認 Redis Search 在高頻率寫入下的效能下降是一個獨立原因,而不是記憶體洩漏的症狀
- 導入錯開時間的容器輪替,逐步回收記憶體,避免整個叢集同時重新啟動
- 檢視 Sentinel 設定,讓輪替期間的 failover 行為可以預期
- 加入能及早揭露這兩個原因的記憶體與索引指標
- 讓客戶的工程師能自行執行輪替,而不必依賴 AceMQ 代勞
成效
記憶體成長獲得抑制,正式環境系統也恢復穩定。合作結束後的期間內未回報任何重大故障,而且平台在修復過程中持續運作,不需要安排維護時段。