返回所有使用案例

技術支援跨產業

專屬資深工程師隨時待命,處理 Druid 查詢與 broker 事故

零售分析服務供應商

持續支援因 segment 大小、快取行為與處理執行緒爭用所導致的 broker 逾時與難以預測的查詢延遲。

概覽

一家零售分析服務供應商將以 Druid 為後端的儀表板提供給自家客戶使用,因此查詢延遲是產品特性的一部分,而不只是內部問題。broker 逾時毫無規律地出現,團隊始終無法重現。AceMQ 以專屬資深工程師與直接升級管道接手技術支援。

挑戰

Druid 的查詢延遲取決於查詢觸及多少個 segment、這些 segment 的大小是否恰當、結果是否來自快取,以及 historical 的處理執行緒是否發生爭用。逾時與某些資料來源高度相關:這些資料來源的 segment 數量過多、單一 segment 又太小,導致每個 segment 的額外負擔遠超過實際工作量。此外,快取設定在流量最大的查詢模式上也互相抵銷。

環境

部署於 AWS 的 Apache Druid,為對外的客戶分析儀表板提供服務,並有公開承諾的延遲標準。

做法

AceMQ 為每筆查詢加入 segment 數量與掃描時間的量測,以區分真正耗費資源的查詢,與因 segment 破碎而承擔額外負擔的查詢。接著,技術支援同時涵蓋對逾時的維運應變,以及阻止逾時繼續發生所需的結構性調整。

解決方案

  1. 量測每筆查詢的 segment 數量與掃描時間,將實際工作與每個 segment 的額外負擔區分開來
  2. 找出 segment 破碎的資料來源,並排程 compaction,使其回到目標大小範圍
  3. 依底層執行個體類型,重新調校 historical 處理執行緒數量與緩衝區大小
  4. 修正在高流量模式上互相抵銷的 broker 與 historical 快取設定
  5. 建立查詢逾時、優先順序與分道(laning)政策,避免繁重的臨時查詢拖垮儀表板
  6. 提供直達資深 Druid 工程師的 24/7 升級管道,中間沒有 Tier-1 分流

成效

隨著 segment 破碎問題逐步排除,broker 逾時變得罕見,儀表板的 p99 延遲也大約減半。查詢分道機制確保繁重的臨時分析不會影響對外服務的路徑,即使在上班時間執行也一樣。

技術

Apache DruidKafkaKubernetesPrometheus

需要專業的 Apache Druid 技術支援嗎?

AceMQ 的資深 Apache Druid 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。