概覽
一家能源公用事業在 Druid 中保留了七年的電表與電網遙測資料,所有 segment 不論新舊,都以相同的複寫係數存放在規格相同的 historical 節點上。基礎架構成本隨保留期間線性成長,但針對舊資料的查詢量卻微乎其微。AceMQ 評估了各種分層方案。
挑戰
分層唯有在您掌握真實的存取分布時才能奏效,而對這件事的假設通常是錯的:針對舊資料的法規查詢雖然少見,卻仍必須在規定時間內完成。這項評估必須先依資料年齡確立實際的存取模式,再判斷哪些分層設定能以較低成本維持必要的查詢行為。
環境
橫跨地端硬體與雲端物件儲存的 Apache Druid,保留多年份的電網與電表遙測資料。
做法
AceMQ 分析查詢日誌,依 segment 年齡建立存取分布,而不是仰賴口頭上的預期;接著針對成本與各方案會產生的查詢行為,對分層設定進行建模,其中包括法規存取在冷資料層的回應時間。
解決方案
- 依據實際查詢日誌、而非口頭假設,依 segment 年齡建立存取分布
- 建模熱、溫、冷三層 historical 架構,並將載入規則對應到實測的存取模式
- 依可用性與復原需求,評估在冷資料層降低複寫係數的可行性
- 評估對最冷資料採用直接查詢深層儲存的方案,並量測其回應特性
- 依法規保留義務,檢視資料保留與刪除規則
- 為每種分層方案提供成本與效能模型,並明確列出各項取捨
成效
這家公用事業取得一份以實測存取資料、而非假設為基礎的分層計畫,並有明確路徑可縮減 historical 節點規模,同時讓法規查詢維持在規定的回應時間內。各項取捨都在事前清楚說明,而不是等到導入後才發現。