概覽
一個成效衡量平台在尖峰流量期間開始以 too-many-parts 錯誤拒絕寫入。每個應用程式執行個體都以很短的計時器寫入小批次資料列,產生的 part 遠多於合併排程器所能消化的數量。AceMQ 依緊急 SLA 介入處理。
挑戰
part 數量上限是一道防護欄,而不是問題本身——調高上限只會讓資料表進一步劣化,直到查詢必須橫跨數千個 part 讀取、慢得像在爬。真正的原因在於寫入批次大小、寫入頻率,以及一個基數過高的分割鍵:每次寫入都會同時觸及許多分割區,讓 part 的產生數量倍增。
環境
部署於 AWS 的 ClickHouse 叢集,從 Kafka 擷取事件串流,用於即時行銷活動成效衡量。
做法
AceMQ 逐一資料表比對 part 產生速率與合併處理量,量化實際的落差,接著優先處理寫入型態,因為無論怎麼調校合併,都無法彌補以錯誤型態送達的寫入。分割鍵的變更則分階段進行,確保既有資料在整個過程中都能持續查詢。
解決方案
- 逐一資料表比對 part 產生速率與合併處理量,量化真正的缺口
- 透過一層緩衝式資料擷取層,將應用程式大量的小型寫入整併為較少的大型批次
- 降低分割鍵基數,讓每次寫入只觸及有限數量的分割區
- 依可用的 CPU 與 I/O,重新調校背景合併池大小與合併設定
- 分階段進行分割鍵變更,讓既有資料在轉換期間仍可查詢
- 將各資料表的 part 數量與合併積壓納入告警,並在遠低於拒絕門檻時就發出通知
成效
寫入拒絕已經停止,part 數量也回落到尖峰流量期間合併仍跟得上的範圍。查詢效能也因此連帶提升,因為掃描時不必再為每個資料表開啟數千個 part。