概覽
一家支付處理業者已將獨立式 Redis 執行個體擴展到最大規格的主機,再也沒有升級空間。遷移到 Cluster 模式是顯而易見的答案,但應用程式使用了多鍵操作與 Lua 指令碼,而這些都假設所有鍵位於同一個節點上。AceMQ 負責規劃並驗證這次遷移。
挑戰
對於鍵被雜湊到不同 slot 的多鍵操作,Cluster 模式會直接拒絕。要在龐大的程式碼庫中找出每一個這類操作,比想像中困難,因為其中許多是動態組成的。Hash tag 可以強制相關的鍵落在同一個 slot,但過度使用又會重新製造出這次遷移原本要解決的熱節點問題。
環境
執行於 Kubernetes 上的 Redis,負責交易去重複、速率限制與冪等性鍵的儲存。
做法
AceMQ 從線上流量盤點實際的指令組成,而不只依賴程式碼審查,因而找出靜態分析遺漏的動態組成多鍵操作。接著刻意限縮 hash tag 的設計,以維持 slot 分布均衡,並以雙重讀取驗證的方式分階段進行遷移。
解決方案
- 盤點線上流量的實際指令組成,找出靜態程式碼審查遺漏的多鍵操作與指令碼
- 將 hash tag 的範圍設計得足夠精確,既能維持 slot 分布,又能讓相關的鍵放在一起
- 改寫無法放在同一 slot 的操作,讓它們能跨 slot 運作且不影響正確性
- 在任何基礎架構變更之前,先驗證用戶端函式庫對叢集的支援與重新導向處理
- 設計分階段遷移,搭配雙重讀取驗證,並在每個階段定義明確的回復點
- 在確定拓樸之前,依正式環境的鍵模式模擬 slot 分布與各節點負載
成效
這家業者成功遷移到 Cluster 模式,以水平擴展的餘裕取代了垂直擴展的天花板,而且在正式環境的鍵模式下,slot 分布依然均衡。原本會無聲失敗的多鍵操作,都在切換前就被找出並修正。