概覽
一家電信業者的 Druid 叢集累積了多年的網路遙測資料,卻沒有任何 compaction 政策。Segment 數量已成長到數百萬個,coordinator 的工作量也隨之增加,而每一次查詢付出的額外負擔,都與 segment 數量而非資料量成正比。AceMQ 為其設計了粒度與 compaction 策略。
挑戰
串流擷取自然會產生依擷取時間窗、而非依查詢需求決定大小的小型 segment。沒有 compaction,這些 segment 就會無限期存在。重新設計必須選擇符合實際查詢時間範圍的粒度、定義能改善修剪(pruning)效果的次級分割,並安排 compaction 的排程,使其不與擷取爭用任務容量。
環境
地端 Apache Druid 叢集,儲存多年份的網路效能與用戶遙測資料。
做法
AceMQ 分析每個 datasource 的查詢時間範圍分佈,選出符合資料實際查詢方式的 segment 粒度,接著設計 auto-compaction,明確保留任務容量,讓它能持續執行而不會排擠擷取作業。
解決方案
- 分析每個 datasource 的查詢時間範圍分佈,依據實證而非慣例選擇 segment 粒度
- 針對查詢最常篩選的維度定義次級分割,提升 segment 內的修剪效果
- 設定具有目標 segment 大小與明確保留任務容量的 auto-compaction
- 分階段、有上限地對歷史積壓資料進行 compaction,避免叢集負荷過重
- 為每個 datasource 設定 rollup 與指標彙總政策,在查詢粒度允許時縮小 segment 大小
- 將每個 datasource 的 segment 數量與平均 segment 大小列為追蹤的維運指標
成效
隨著積壓資料完成 compaction,segment 數量大幅下降,而 auto-compaction 也讓數量在新資料持續進來時保持穩定。Coordinator 負載下降,查詢的額外負擔改為隨資料量而非 segment 數量增加。