返回所有使用案例

問題修復軟體/數位平台

調整寫入型態,讓合併跟得上

廣告科技成效衡量平台

頻繁的小量寫入所產生 part 的速度,超過背景合併能夠消化的速度,因而觸發 part 數量上限、導致資料寫入失敗;我們協助解決了這個問題。

概覽

一個成效衡量平台在尖峰流量期間開始以 too-many-parts 錯誤拒絕寫入。每個應用程式執行個體都以很短的計時器寫入小批次資料列,產生的 part 遠多於合併排程器所能消化的數量。AceMQ 依緊急 SLA 介入處理。

挑戰

part 數量上限是一道防護欄,而不是問題本身——調高上限只會讓資料表進一步劣化,直到查詢必須橫跨數千個 part 讀取、慢得像在爬。真正的原因在於寫入批次大小、寫入頻率,以及一個基數過高的分割鍵:每次寫入都會同時觸及許多分割區,讓 part 的產生數量倍增。

環境

部署於 AWS 的 ClickHouse 叢集,從 Kafka 擷取事件串流,用於即時行銷活動成效衡量。

做法

AceMQ 逐一資料表比對 part 產生速率與合併處理量,量化實際的落差,接著優先處理寫入型態,因為無論怎麼調校合併,都無法彌補以錯誤型態送達的寫入。分割鍵的變更則分階段進行,確保既有資料在整個過程中都能持續查詢。

解決方案

  1. 逐一資料表比對 part 產生速率與合併處理量,量化真正的缺口
  2. 透過一層緩衝式資料擷取層,將應用程式大量的小型寫入整併為較少的大型批次
  3. 降低分割鍵基數,讓每次寫入只觸及有限數量的分割區
  4. 依可用的 CPU 與 I/O,重新調校背景合併池大小與合併設定
  5. 分階段進行分割鍵變更,讓既有資料在轉換期間仍可查詢
  6. 將各資料表的 part 數量與合併積壓納入告警,並在遠低於拒絕門檻時就發出通知

成效

寫入拒絕已經停止,part 數量也回落到尖峰流量期間合併仍跟得上的範圍。查詢效能也因此連帶提升,因為掃描時不必再為每個資料表開啟數千個 part。

技術

ClickHouseKafkaKubernetesPrometheus

正面臨 ClickHouse 正式環境問題嗎?

AceMQ 的資深 ClickHouse 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。