返回所有使用案例

評估能源/公用事業

在決定退出 Hadoop 之前,您需要的盤點清單與時程

區域公用事業營運商

釐清 Hadoop 叢集上實際在跑的東西、繼續保留要花多少成本,以及一套站得住腳的遷移順序與時程應該長什麼樣子。

概覽

在為 Hadoop 遷移投入預算之前,管理階層需要有實證依據的答案:叢集上有哪些東西、哪些仍然重要,以及退場要花多久時間。AceMQ 會產出這份盤點清單,以及附帶工作量估算的分階段計畫。

挑戰

叢集的實際狀態從未被記錄下來。沒有人說得出數千張 Hive 資料表中哪些仍有人讀取、哪些 YARN 佇列承載正式環境工作而哪些只是廢棄的實驗,或是哪些作業供應法規申報資料、因此不能中斷。缺乏這些資訊所提出的估算只是猜測,而建立在猜測上的遷移計畫往往會超出時程。

環境

採用商業版或社群版發行版的地端 Hadoop 叢集,包含 HDFS、Hive、YARN,以及混合的 Spark、MapReduce 與 Hive 工作負載。

做法

AceMQ 不仰賴訪談,而是在一段具代表性的期間內,分析叢集本身的稽核日誌與查詢日誌。每張資料表都會取得最後讀取時間與使用者清單;每項作業都會建立執行時間、資源用量與重要性的輪廓。營運成本的模型涵蓋硬體、技術支援、電力,以及叢集維護所耗用的人力時間,並與目標平台進行比較。

解決方案

  1. 依據 HDFS 稽核日誌與 HiveServer2 日誌進行資料表層級的存取分析,為每個資料集標出最後讀取日期與使用者清單
  2. 盤點各 YARN 佇列中的作業,並依執行時間、資源用量與業務重要性加以分類
  3. 建立現況成本模型,涵蓋硬體汰換、發行版技術支援、電力與機櫃,以及維運人力時間
  4. 檢視發行版元件堆疊中各元件的版本與 CVE 曝險
  5. 依相依深度與業務風險排定遷移批次順序,並提供每個批次的工作量估算
  6. 針對每個資料集與作業提出淘汰或遷移的建議,閒置資料會被標示為封存而非遷移

成效

客戶取得一份以實測存取資料、而非估算為依據的遷移商業論證,以及可據以配置人力資源的分批計畫。光是閒置資料這項發現,通常就能從原先預估的遷移範圍中刪去相當大的一部分。

技術

Apache HadoopApache HiveApache SparkYARN

準備好進行 Apache Hadoop 健康檢查了嗎?

AceMQ 的資深 Apache Hadoop 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。