概覽
一家商務平台在變更序列化物件格式後,快取命中率大幅崩跌,即使伺服器回報仍有未使用的記憶體,淘汰次數依然急遽上升。隨之而來的負載落到了資料庫上,頁面延遲也跟著惡化。
挑戰
Memcached 依項目大小將記憶體分配給各個 slab class,而且頁面一旦分配給某個 class,預設就會一直留在那裡。序列化格式的變更,讓典型項目落入了另一個大小級別,而不是原本持有幾乎所有已分配頁面的那一個。新的 class 很快就被填滿,幾乎立刻開始淘汰,舊的 class 卻大多空著——這正是典型的鈣化特徵。每一個儀表板上的總記憶體看起來都很正常,這也是團隊先前排除容量問題的原因。
環境
Memcached 層位於關聯式資料庫前方,負責工作階段與物件快取,應用程式伺服器執行在 Kubernetes 上。
做法
我們檢視的是各 slab class 的統計數據,而不是整體記憶體數字,不出幾分鐘,失衡的狀況就一目了然。立即的緩解措施是啟用 slab 重新平衡,讓頁面能在各 class 之間移轉。長久的修正方式,則是有計畫地規劃項目大小,並監控真正能揭露這種故障模式的指標。
解決方案
- 分析各 slab class 的統計數據,揭露整體指標所掩蓋的「淘汰不斷、記憶體卻有空」的矛盾
- 啟用自動 slab 重新平衡,讓頁面隨工作負載變化在各大小級別之間移轉
- 依實際的項目大小分布(而非預設值)重新檢視成長係數與 chunk 大小
- 在應用程式層縮減序列化物件的大小,讓項目穩定落在可預期的 class 內
- 新增各 class 的淘汰次數與頁面數量監控,取代先前掩蓋問題的整體記憶體圖表
- 訂定重新啟動與預熱程序,避免快取重新啟動時大量請求一擁而上衝垮資料庫
成效
命中率在一小時內恢復到先前的水準,熱門 class 的淘汰次數降至接近零。資料庫的讀取負載回到正常,而各 class 的監控此後也在另一次大小變化造成任何影響之前,就提前發出了警示。