返回所有使用案例

顧問服務跨產業

讓寫入分散、而非集中的分片鍵設計

物流與貨運科技供應商

重新設計一個單調遞增的分片鍵;該鍵讓所有寫入集中在單一分片上,並產生無法分割的 jumbo chunk。

概覽

一個貨運追蹤平台以衍生自時間戳記的鍵,對其最大的集合進行分片。每一筆寫入都落在同一個 chunk 範圍內,導致單一分片承擔全部寫入負載,其他分片則閒置。另有數個 chunk 因建立在低基數值上,大小超過分割門檻,卡成 balancer 拒絕搬移的 jumbo chunk。

挑戰

要在線上運作、容量達數 TB 的集合上重新設計分片鍵,絕不是改個設定那麼簡單。這個專案必須產出一個既能分散寫入、又能在不使用 scatter-gather 的前提下支援平台主要查詢模式的鍵,而且導入的遷移路徑不能需要長時間的維護時段。

環境

橫跨地端硬體與雲端容量的 MongoDB 分片叢集,支撐貨件追蹤與遙測服務。

做法

AceMQ 從慢查詢日誌與應用程式碼剖析實際的查詢組合,而不是依據早已偏離現況的文件化存取模式。候選鍵會依寫入分布、定向查詢與廣播查詢的比例,以及 chunk 基數加以評估,並在提出任何變更之前,先在還原的正式環境副本上進行驗證。

解決方案

  1. 剖析每個分片的實際查詢型態與寫入分布,建立真實的存取模式,而非文件上的模式
  2. 依寫入分散程度、查詢定向能力與 chunk 基數,評估候選的複合分片鍵與雜湊分片鍵
  3. 在確定計畫之前,先在還原的正式環境規模副本上驗證建議的分片鍵
  4. 設計採用 resharding 的分階段遷移,訂定明確的檢查點,並在每個階段保留回復位置
  5. 處理既有的 jumbo chunk,並修正將範圍綁定到錯誤分片的 zone 設定
  6. 記錄與平台資料匯入輪廓相符的 balancer 時間窗與 chunk 大小設定

成效

寫入流量分散到所有分片,不再集中於單一分片,叢集也恢復了透過增加分片進行水平擴展的能力。由於新的分片鍵讓主要讀取模式維持定向查詢,廣播查詢大幅減少。

技術

MongoDBKubernetesKafkaTerraform

需要 MongoDB 架構指引嗎?

AceMQ 的資深 MongoDB 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。