概覽
一個貨運追蹤平台以衍生自時間戳記的鍵,對其最大的集合進行分片。每一筆寫入都落在同一個 chunk 範圍內,導致單一分片承擔全部寫入負載,其他分片則閒置。另有數個 chunk 因建立在低基數值上,大小超過分割門檻,卡成 balancer 拒絕搬移的 jumbo chunk。
挑戰
要在線上運作、容量達數 TB 的集合上重新設計分片鍵,絕不是改個設定那麼簡單。這個專案必須產出一個既能分散寫入、又能在不使用 scatter-gather 的前提下支援平台主要查詢模式的鍵,而且導入的遷移路徑不能需要長時間的維護時段。
環境
橫跨地端硬體與雲端容量的 MongoDB 分片叢集,支撐貨件追蹤與遙測服務。
做法
AceMQ 從慢查詢日誌與應用程式碼剖析實際的查詢組合,而不是依據早已偏離現況的文件化存取模式。候選鍵會依寫入分布、定向查詢與廣播查詢的比例,以及 chunk 基數加以評估,並在提出任何變更之前,先在還原的正式環境副本上進行驗證。
解決方案
- 剖析每個分片的實際查詢型態與寫入分布,建立真實的存取模式,而非文件上的模式
- 依寫入分散程度、查詢定向能力與 chunk 基數,評估候選的複合分片鍵與雜湊分片鍵
- 在確定計畫之前,先在還原的正式環境規模副本上驗證建議的分片鍵
- 設計採用 resharding 的分階段遷移,訂定明確的檢查點,並在每個階段保留回復位置
- 處理既有的 jumbo chunk,並修正將範圍綁定到錯誤分片的 zone 設定
- 記錄與平台資料匯入輪廓相符的 balancer 時間窗與 chunk 大小設定
成效
寫入流量分散到所有分片,不再集中於單一分片,叢集也恢復了透過增加分片進行水平擴展的能力。由於新的分片鍵讓主要讀取模式維持定向查詢,廣播查詢大幅減少。