概覽
一個協作平台將 Redis 作為面向客戶產品背後的工作階段與搜尋層。每次重新啟動之後,記憶體都會穩定攀升,直到叢集當機,而且這個模式在多輪擴充容量後依然存在。
挑戰
增加記憶體沒有幫助,因為成長幅度與流量並不成正比。叢集的記憶體上限在設定時也沒有加上單位,導致原本預期的限制從未真正生效。重新啟動雖然能回收記憶體,卻會中斷工作階段。
環境
容器化的 Redis,具備複本與以 Sentinel 為基礎的容錯移轉,在託管雲端環境中執行,承載高頻率的寫入工作負載。
做法
AceMQ 工程師在 CI 叢集中重現記憶體成長,透過捨棄並重建索引、觀察記憶體隨之回落,將問題鎖定在全文索引,並確認該行為與所用搜尋模組版本中的一個已知缺陷相符。在評估升級路徑期間,先重新啟動複本、再重新啟動主節點的錯開式重啟,為團隊提供了安全的暫行緩解措施。
解決方案
- 在非正式環境叢集中重現記憶體成長,以釐清原因
- 將記憶體洩漏追查至全文搜尋模組,而非應用程式工作負載
- 修正設定時未加單位的記憶體上限
- 設定明確的淘汰策略,讓叢集在壓力下降級運作而不是當機
- 導入先複本、後主節點的錯開式重啟,避免容錯移轉風險
- 評估 Valkey 作為受支援的長期路徑,並以功能旗標逐步推出
成效
記憶體成長不再演變成事故。叢集在維護時段之間保持穩定,團隊獲得一套可以自行執行、有書面記錄的緩解措施,而 Valkey 遷移也得以作為計畫中的變更進行,而不是緊急應變。