返回所有使用案例

評估能源/公用事業

依資料實際被讀取的頻率,配置相應的儲存層級

能源公用事業營運商

評估 historical 分層、保留規則與複寫係數,讓基礎架構成本與資料隨時間實際被查詢的方式一致。

概覽

一家能源公用事業在 Druid 中保留了七年的電表與電網遙測資料,所有 segment 不論新舊,都以相同的複寫係數存放在規格相同的 historical 節點上。基礎架構成本隨保留期間線性成長,但針對舊資料的查詢量卻微乎其微。AceMQ 評估了各種分層方案。

挑戰

分層唯有在您掌握真實的存取分布時才能奏效,而對這件事的假設通常是錯的:針對舊資料的法規查詢雖然少見,卻仍必須在規定時間內完成。這項評估必須先依資料年齡確立實際的存取模式,再判斷哪些分層設定能以較低成本維持必要的查詢行為。

環境

橫跨地端硬體與雲端物件儲存的 Apache Druid,保留多年份的電網與電表遙測資料。

做法

AceMQ 分析查詢日誌,依 segment 年齡建立存取分布,而不是仰賴口頭上的預期;接著針對成本與各方案會產生的查詢行為,對分層設定進行建模,其中包括法規存取在冷資料層的回應時間。

解決方案

  1. 依據實際查詢日誌、而非口頭假設,依 segment 年齡建立存取分布
  2. 建模熱、溫、冷三層 historical 架構,並將載入規則對應到實測的存取模式
  3. 依可用性與復原需求,評估在冷資料層降低複寫係數的可行性
  4. 評估對最冷資料採用直接查詢深層儲存的方案,並量測其回應特性
  5. 依法規保留義務,檢視資料保留與刪除規則
  6. 為每種分層方案提供成本與效能模型,並明確列出各項取捨

成效

這家公用事業取得一份以實測存取資料、而非假設為基礎的分層計畫,並有明確路徑可縮減 historical 節點規模,同時讓法規查詢維持在規定的回應時間內。各項取捨都在事前清楚說明,而不是等到導入後才發現。

技術

Apache DruidS3KubernetesPrometheus

準備好進行 Apache Druid 健康檢查了嗎?

AceMQ 的資深 Apache Druid 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。