概覽
一家 SaaS 供應商為了改善不如預期的命中率,準備將 Memcached 規模加倍。AceMQ 先評估了快取層,以確認容量是否真的是瓶頸所在。
挑戰
整體命中率看起來很差,加記憶體似乎是理所當然的解法。但整體數字掩蓋了兩個獨立的問題。相當比例的 get 請求針對的是只會被讀取一次的鍵,這類快取未命中是設計使然,再多記憶體也解決不了。此外,由於兩套用戶端函式庫的雜湊設定不同,鍵在雜湊環上的分布嚴重不均,部分節點接近滿載並不斷逐出資料,其他節點卻有一半是空的。
環境
部署於 AWS 上的 Memcached 快取層,由兩種程式語言的服務透過不同的用戶端函式庫存取。
做法
這項評估依鍵的模式拆解命中率,而不是把它當成單一數字,並逐一量測每個節點實際的鍵與記憶體分布。如此便能把本質上無法快取的流量,與真正能從更多記憶體受益的工作負載區分開來,同時揭露增加節點也無法解決的分布問題。
解決方案
- 依鍵前綴與存取模式拆解命中率,區分只讀一次的鍵與真正可重複使用的鍵
- 量測每個節點的鍵數量與記憶體分布,揭露雜湊環的失衡
- 比較兩種程式語言的用戶端函式庫雜湊設定,找出造成失衡的設定不一致
- 依鍵類別估算工作集大小,讓容量需求建立在量測之上,而不是憑空猜測加倍
- 找出無法快取的存取模式,回報給應用程式團隊,作為移出快取路徑的候選項目
- 提出規格建議,並列出各方案預期的命中率結果,包括完全不增加容量的選項
成效
修正用戶端雜湊設定不一致的問題後,雜湊環恢復平衡,命中率在不增添任何硬體的情況下大幅提升。原訂的容量加倍計畫因此取消,改為僅針對單一鍵類別進行小幅擴充。