返回所有使用案例

技術支援軟體/數位平台

只增不減的記憶體

即時螢幕分享 SaaS 平台

透過十四小時、共六次的即時工作階段,找出 Redis 叢集為何持續成長並超過上限,並在不需要維護時段的情況下加以制止。

概覽

一個提供即時螢幕分享的 SaaS 平台,其 Redis 叢集的記憶體在兩次重新啟動之間穩定攀升,而且從不回落。重新啟動就能清除,這讓問題變得容易忍受,也容易誤判。AceMQ 以六次、總計十四小時的即時工作階段進行這次合作,客戶的工程師全程參與,而不是在數週後才收到一份書面報告。

挑戰

兩個不同的問題以同一個症狀出現。記憶體上限被錯誤設定為 7GB,因此執行個體在應該進行 eviction 時沒有這麼做;而 Redis Search 在一種索引設計時未曾考慮的高頻率寫入模式下效能逐漸下降。任何一個問題單獨存在都還撐得住,但兩者加在一起,就造成看起來像典型記憶體洩漏的成長,而且常見的 eviction 策略修正也起不了作用。

環境

容器化的 Redis,以 Sentinel 管理 failover,為即時協作產品提供 session 狀態儲存。

做法

這些工作階段刻意採用互動形式:重現、量測、只改變一個變數、再量測一次。這種形式讓團隊能將上限設定錯誤與 Redis Search 的行為區分開來,而不是同時套用兩項修正,結果什麼也學不到。

解決方案

  1. 修正記憶體上限,讓 eviction 策略能在預定門檻真正生效
  2. 確認 Redis Search 在高頻率寫入下的效能下降是一個獨立原因,而不是記憶體洩漏的症狀
  3. 導入錯開時間的容器輪替,逐步回收記憶體,避免整個叢集同時重新啟動
  4. 檢視 Sentinel 設定,讓輪替期間的 failover 行為可以預期
  5. 加入能及早揭露這兩個原因的記憶體與索引指標
  6. 讓客戶的工程師能自行執行輪替,而不必依賴 AceMQ 代勞

成效

記憶體成長獲得抑制,正式環境系統也恢復穩定。合作結束後的期間內未回報任何重大故障,而且平台在修復過程中持續運作,不需要安排維護時段。

技術

RedisRedis SentinelContainersObservability

需要專業的 Redis 技術支援嗎?

AceMQ 的資深 Redis 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。