返回所有使用案例

問題修復軟體/數位平台

快取明明回報記憶體還有餘裕,淘汰次數卻不斷攀升

數位商務平台

針對一個在回報仍有可用記憶體的同時、卻不斷淘汰熱門鍵的 Memcached 層進行緊急修復,並追查到根本原因在於 slab class 的記憶體配置。

概覽

一家商務平台在變更序列化物件格式後,快取命中率大幅崩跌,即使伺服器回報仍有未使用的記憶體,淘汰次數依然急遽上升。隨之而來的負載落到了資料庫上,頁面延遲也跟著惡化。

挑戰

Memcached 依項目大小將記憶體分配給各個 slab class,而且頁面一旦分配給某個 class,預設就會一直留在那裡。序列化格式的變更,讓典型項目落入了另一個大小級別,而不是原本持有幾乎所有已分配頁面的那一個。新的 class 很快就被填滿,幾乎立刻開始淘汰,舊的 class 卻大多空著——這正是典型的鈣化特徵。每一個儀表板上的總記憶體看起來都很正常,這也是團隊先前排除容量問題的原因。

環境

Memcached 層位於關聯式資料庫前方,負責工作階段與物件快取,應用程式伺服器執行在 Kubernetes 上。

做法

我們檢視的是各 slab class 的統計數據,而不是整體記憶體數字,不出幾分鐘,失衡的狀況就一目了然。立即的緩解措施是啟用 slab 重新平衡,讓頁面能在各 class 之間移轉。長久的修正方式,則是有計畫地規劃項目大小,並監控真正能揭露這種故障模式的指標。

解決方案

  1. 分析各 slab class 的統計數據,揭露整體指標所掩蓋的「淘汰不斷、記憶體卻有空」的矛盾
  2. 啟用自動 slab 重新平衡,讓頁面隨工作負載變化在各大小級別之間移轉
  3. 依實際的項目大小分布(而非預設值)重新檢視成長係數與 chunk 大小
  4. 在應用程式層縮減序列化物件的大小,讓項目穩定落在可預期的 class 內
  5. 新增各 class 的淘汰次數與頁面數量監控,取代先前掩蓋問題的整體記憶體圖表
  6. 訂定重新啟動與預熱程序,避免快取重新啟動時大量請求一擁而上衝垮資料庫

成效

命中率在一小時內恢復到先前的水準,熱門 class 的淘汰次數降至接近零。資料庫的讀取負載回到正常,而各 class 的監控此後也在另一次大小變化造成任何影響之前,就提前發出了警示。

技術

MemcachedLinuxMySQLKubernetes

正面臨 Memcached 正式環境問題嗎?

AceMQ 的資深 Memcached 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。