返回所有使用案例

技術支援軟體/數位平台

撐過快取失效的那一刻

數位媒體平台

為一個容易在節點變動與快取集中過期後,引發資料庫「驚群效應」負載的 Memcached 層,提供持續性技術支援。

概覽

一家數位媒體平台每當更換 Memcached 節點,或有大批鍵值同時過期時,資料庫就會一再停擺。AceMQ 提供持續性技術支援,涵蓋快取層以及圍繞它的應用程式模式。

挑戰

在一致性雜湊環中失去一個節點,會讓它所負責的鍵值重新對應,而每一個重新對應的鍵值都會同時未命中。由於沒有任何防止並行重新產生的保護,成千上萬的請求會同時重新計算同一個昂貴的值,導致資料庫滿載。集中過期時也發生同樣的狀況:部署期間一起寫入的鍵值擁有完全相同的 TTL,因此也會一起過期。例行的節點維護,已經變成一件需要變更審批的事。

環境

AWS 上作為關聯式資料庫前端的 Memcached 層,應用程式伺服器運行於 Kubernetes 上,部署頻繁。

做法

這裡的技術支援橫跨快取本身與使用快取的應用程式模式,因為防止快取雪崩屬於應用程式層的問題,單靠快取無法解決。我們與客戶的工程師合作導入請求合併與 TTL 抖動,並讓節點拓撲變更成為一項受控的作業,而不再是一起事件。

解決方案

  1. 24/7 技術支援,提供依方案而定、最快 15 分鐘起的回應目標,由熟悉快取拓撲及其使用者的專屬資深工程師負責
  2. 在應用程式層加入請求合併,讓缺少某個值時只有一個呼叫者負責重新產生,其他呼叫者則等待
  3. 套用 TTL 抖動,讓一起寫入的鍵值不會一起過期而形成集中過期
  4. 審查一致性雜湊設定,讓節點變動時重新對應的鍵值比例降到最低
  5. 建立含預熱步驟的受控節點新增與移除程序,取代臨時的緊急替換
  6. 依節點監控命中率、逐出次數與 get 未命中次數,在節點效能惡化時就及早發現,而不是等到失去它

成效

更換節點不再造成資料庫負載暴增,而在套用 TTL 抖動之後,集中過期的情況也消失了。快取維護從需要變更審批的事件,回歸為例行維運。

技術

MemcachedLinuxPostgreSQLKubernetes

需要專業的 Memcached 技術支援嗎?

AceMQ 的資深 Memcached 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。