返回所有使用案例

顧問服務工業/製造

以排序鍵與 projection 大幅縮小掃描範圍

工業物聯網平台營運商

重新設計 ORDER BY 鍵、分割、編碼器(codec)與具體化檢視,讓儀表板查詢只需讀取一小部分資料,而不必全表掃描。

概覽

一家工業物聯網營運商的 ClickHouse 資料表在建立之初效能良好,卻隨著感測器資料持續累積而穩定劣化。由於排序鍵與資料的實際篩選方式不符,儀表板查詢必須讀取每張資料表的大部分內容。AceMQ 依據實際的查詢組合重新設計結構描述。

挑戰

ClickHouse 的效能大致取決於查詢能略過多少資料,而這又取決於排序鍵的順序、分割方式與索引粒度。現有資料表建立時,排序鍵把高基數識別碼放在第一位,因此對於每個儀表板都會套用的時間範圍篩選,稀疏主索引幾乎無法略過任何資料。

環境

地端 ClickHouse 叢集,儲存多年份的感測器遙測資料,供廠區監控儀表板使用。

做法

AceMQ 剖析實際的查詢組合,並逐一量測每個查詢讀取的 granule 數量,以及其中真正含有符合資料列的 granule 數量。這兩者之間的落差,主導了排序鍵與分割的重新設計。接著再依據實測的資料特性,為每個欄位選擇編碼器與壓縮方式,而不是沿用預設值。

解決方案

  1. 剖析儀表板查詢組合,量測讀取的 granule 數量與實際含有符合資料的 granule 數量
  2. 重新排列排序鍵,以查詢實際篩選的欄位為首,恢復索引略過的效果
  3. 選擇合適的分割粒度,既能限制 part 數量,又能對時間範圍進行分割修剪
  4. 針對時間序列與低基數欄位,依實測資料特性套用逐欄位的編碼器
  5. 為反覆出現的儀表板彙總導入具體化檢視與彙總資料表
  6. 定義 TTL 政策,將較舊的資料移至較低成本的儲存,並依文件記載的時程讓資料到期

成效

儀表板查詢從掃描每張資料表的大部分內容,變成只讀取其中一小部分,一般回應時間大約改善了一個數量級。編碼器與 TTL 的調整也讓儲存空間顯著減少。

技術

ClickHouseKafkaGrafanaLinux

需要 ClickHouse 架構指引嗎?

AceMQ 的資深 ClickHouse 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。