返回所有使用案例

顧問服務電信

讓 segment 數量多年來都維持在可控範圍的 compaction 政策

電信業者

重新設計 segment 粒度、分割方式與 auto-compaction 政策,讓 segment 數量在歷史資料持續累積時仍維持在可控範圍。

概覽

一家電信業者的 Druid 叢集累積了多年的網路遙測資料,卻沒有任何 compaction 政策。Segment 數量已成長到數百萬個,coordinator 的工作量也隨之增加,而每一次查詢付出的額外負擔,都與 segment 數量而非資料量成正比。AceMQ 為其設計了粒度與 compaction 策略。

挑戰

串流擷取自然會產生依擷取時間窗、而非依查詢需求決定大小的小型 segment。沒有 compaction,這些 segment 就會無限期存在。重新設計必須選擇符合實際查詢時間範圍的粒度、定義能改善修剪(pruning)效果的次級分割,並安排 compaction 的排程,使其不與擷取爭用任務容量。

環境

地端 Apache Druid 叢集,儲存多年份的網路效能與用戶遙測資料。

做法

AceMQ 分析每個 datasource 的查詢時間範圍分佈,選出符合資料實際查詢方式的 segment 粒度,接著設計 auto-compaction,明確保留任務容量,讓它能持續執行而不會排擠擷取作業。

解決方案

  1. 分析每個 datasource 的查詢時間範圍分佈,依據實證而非慣例選擇 segment 粒度
  2. 針對查詢最常篩選的維度定義次級分割,提升 segment 內的修剪效果
  3. 設定具有目標 segment 大小與明確保留任務容量的 auto-compaction
  4. 分階段、有上限地對歷史積壓資料進行 compaction,避免叢集負荷過重
  5. 為每個 datasource 設定 rollup 與指標彙總政策,在查詢粒度允許時縮小 segment 大小
  6. 將每個 datasource 的 segment 數量與平均 segment 大小列為追蹤的維運指標

成效

隨著積壓資料完成 compaction,segment 數量大幅下降,而 auto-compaction 也讓數量在新資料持續進來時保持穩定。Coordinator 負載下降,查詢的額外負擔改為隨資料量而非 segment 數量增加。

技術

Apache DruidKafkaLinuxPrometheus

需要 Apache Druid 架構指引嗎?

AceMQ 的資深 Apache Druid 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。