概覽
一家零售分析服務供應商將以 Druid 為後端的儀表板提供給自家客戶使用,因此查詢延遲是產品特性的一部分,而不只是內部問題。broker 逾時毫無規律地出現,團隊始終無法重現。AceMQ 以專屬資深工程師與直接升級管道接手技術支援。
挑戰
Druid 的查詢延遲取決於查詢觸及多少個 segment、這些 segment 的大小是否恰當、結果是否來自快取,以及 historical 的處理執行緒是否發生爭用。逾時與某些資料來源高度相關:這些資料來源的 segment 數量過多、單一 segment 又太小,導致每個 segment 的額外負擔遠超過實際工作量。此外,快取設定在流量最大的查詢模式上也互相抵銷。
環境
部署於 AWS 的 Apache Druid,為對外的客戶分析儀表板提供服務,並有公開承諾的延遲標準。
做法
AceMQ 為每筆查詢加入 segment 數量與掃描時間的量測,以區分真正耗費資源的查詢,與因 segment 破碎而承擔額外負擔的查詢。接著,技術支援同時涵蓋對逾時的維運應變,以及阻止逾時繼續發生所需的結構性調整。
解決方案
- 量測每筆查詢的 segment 數量與掃描時間,將實際工作與每個 segment 的額外負擔區分開來
- 找出 segment 破碎的資料來源,並排程 compaction,使其回到目標大小範圍
- 依底層執行個體類型,重新調校 historical 處理執行緒數量與緩衝區大小
- 修正在高流量模式上互相抵銷的 broker 與 historical 快取設定
- 建立查詢逾時、優先順序與分道(laning)政策,避免繁重的臨時查詢拖垮儀表板
- 提供直達資深 Druid 工程師的 24/7 升級管道,中間沒有 Tier-1 分流
成效
隨著 segment 破碎問題逐步排除,broker 逾時變得罕見,儀表板的 p99 延遲也大約減半。查詢分道機制確保繁重的臨時分析不會影響對外服務的路徑,即使在上班時間執行也一樣。