概覽
一家數位媒體平台每當更換 Memcached 節點,或有大批鍵值同時過期時,資料庫就會一再停擺。AceMQ 提供持續性技術支援,涵蓋快取層以及圍繞它的應用程式模式。
挑戰
在一致性雜湊環中失去一個節點,會讓它所負責的鍵值重新對應,而每一個重新對應的鍵值都會同時未命中。由於沒有任何防止並行重新產生的保護,成千上萬的請求會同時重新計算同一個昂貴的值,導致資料庫滿載。集中過期時也發生同樣的狀況:部署期間一起寫入的鍵值擁有完全相同的 TTL,因此也會一起過期。例行的節點維護,已經變成一件需要變更審批的事。
環境
AWS 上作為關聯式資料庫前端的 Memcached 層,應用程式伺服器運行於 Kubernetes 上,部署頻繁。
做法
這裡的技術支援橫跨快取本身與使用快取的應用程式模式,因為防止快取雪崩屬於應用程式層的問題,單靠快取無法解決。我們與客戶的工程師合作導入請求合併與 TTL 抖動,並讓節點拓撲變更成為一項受控的作業,而不再是一起事件。
解決方案
- 24/7 技術支援,提供依方案而定、最快 15 分鐘起的回應目標,由熟悉快取拓撲及其使用者的專屬資深工程師負責
- 在應用程式層加入請求合併,讓缺少某個值時只有一個呼叫者負責重新產生,其他呼叫者則等待
- 套用 TTL 抖動,讓一起寫入的鍵值不會一起過期而形成集中過期
- 審查一致性雜湊設定,讓節點變動時重新對應的鍵值比例降到最低
- 建立含預熱步驟的受控節點新增與移除程序,取代臨時的緊急替換
- 依節點監控命中率、逐出次數與 get 未命中次數,在節點效能惡化時就及早發現,而不是等到失去它
成效
更換節點不再造成資料庫負載暴增,而在套用 TTL 抖動之後,集中過期的情況也消失了。快取維護從需要變更審批的事件,回歸為例行維運。