概覽
在為 Hadoop 遷移投入預算之前,管理階層需要有實證依據的答案:叢集上有哪些東西、哪些仍然重要,以及退場要花多久時間。AceMQ 會產出這份盤點清單,以及附帶工作量估算的分階段計畫。
挑戰
叢集的實際狀態從未被記錄下來。沒有人說得出數千張 Hive 資料表中哪些仍有人讀取、哪些 YARN 佇列承載正式環境工作而哪些只是廢棄的實驗,或是哪些作業供應法規申報資料、因此不能中斷。缺乏這些資訊所提出的估算只是猜測,而建立在猜測上的遷移計畫往往會超出時程。
環境
採用商業版或社群版發行版的地端 Hadoop 叢集,包含 HDFS、Hive、YARN,以及混合的 Spark、MapReduce 與 Hive 工作負載。
做法
AceMQ 不仰賴訪談,而是在一段具代表性的期間內,分析叢集本身的稽核日誌與查詢日誌。每張資料表都會取得最後讀取時間與使用者清單;每項作業都會建立執行時間、資源用量與重要性的輪廓。營運成本的模型涵蓋硬體、技術支援、電力,以及叢集維護所耗用的人力時間,並與目標平台進行比較。
解決方案
- 依據 HDFS 稽核日誌與 HiveServer2 日誌進行資料表層級的存取分析,為每個資料集標出最後讀取日期與使用者清單
- 盤點各 YARN 佇列中的作業,並依執行時間、資源用量與業務重要性加以分類
- 建立現況成本模型,涵蓋硬體汰換、發行版技術支援、電力與機櫃,以及維運人力時間
- 檢視發行版元件堆疊中各元件的版本與 CVE 曝險
- 依相依深度與業務風險排定遷移批次順序,並提供每個批次的工作量估算
- 針對每個資料集與作業提出淘汰或遷移的建議,閒置資料會被標示為封存而非遷移
成效
客戶取得一份以實測存取資料、而非估算為依據的遷移商業論證,以及可據以配置人力資源的分批計畫。光是閒置資料這項發現,通常就能從原先預估的遷移範圍中刪去相當大的一部分。