概覽
如今仍在運作的 Hadoop 叢集,大多已是倒數計時——發行版廠商換了、硬體該汰換了,維運專業人才也已經流失多年。AceMQ 規劃並執行遷移至物件儲存與開放資料表格式的工作,將工作負載加以轉換,而不是原封搬移成一個日後還得再遷移一次的樣子。
挑戰
一套運作了十年的 Hadoop 環境,裡面有數千張 Hive 資料表、作者早已離職的 MapReduce 作業、沒有人完全看得懂的 Oozie coordinator,以及以 Ranger 政策表達、背後依賴 Kerberos 的授權機制,而這些政策無法順利對應到雲端 IAM。在找出使用端之前,什麼都不能關閉,而使用端清單從來沒有記錄在任何地方。迫使決策的通常是硬體的生命週期結束日期,留下的時間往往比工作所需的還少。
環境
地端 Hadoop 發行版,包含 HDFS、Hive、YARN、MapReduce、Oozie 與 Ranger,遷移至搭配 Delta Lake 或 Iceberg 的雲端物件儲存。
做法
AceMQ 首先從 HiveServer2 查詢日誌、HDFS 稽核日誌與排程器歷程中找出相依關係,釐清哪些資料實際被讀取、由誰讀取——通常只占現有資料的一小部分。工作負載依業務領域分批遷移,並以雙軌並行驗證;MapReduce 與 Hive 查詢會轉換為 Spark SQL,而不是以模擬方式執行;Ranger 政策則重新建立為目錄授權。待使用端確認切換完成後,再依業務領域排定除役時程。
解決方案
- 從 HiveServer2 查詢日誌、HDFS 稽核日誌與 Oozie 歷程中找出相依關係,區分仍在使用與已閒置的資料集
- 為物件儲存選擇資料表格式並重新設計分區,取代 HDFS 時代以本機磁碟為前提的配置
- 將 MapReduce 與 Hive 工作負載轉換為 Spark SQL,並移植或替換舊有的 UDF,而不是加一層包裝
- 將 Oozie coordinator 轉換為 Airflow DAG,並保留原有的相依語意
- 將 Ranger 與 Kerberos 授權重新建立為目錄層級的授權,並對應到既有的身分群組
- 分批切換,搭配雙軌並行的資料核對與依業務領域排定的除役時程
成效
客戶能依計畫的時程擺脫 Hadoop 硬體與技術支援的負擔,而不是在汰換壓力下倉促行事,並轉移到儲存與運算可各自獨立擴展的平台。相依關係盤點經常顯示,大量已儲存的資料其實沒有任何使用端,根本不需要搬移。