返回所有使用案例

顧問服務跨產業

趁硬體汰換逼您做決定之前,有計畫地撤離 Hadoop

全國性保險公司

從老舊的 Hadoop 叢集遷移到物件儲存與開放資料表格式,並將 Hive、MapReduce 與 Oozie 工作負載加以轉換,而不是原封搬移。

概覽

如今仍在運作的 Hadoop 叢集,大多已是倒數計時——發行版廠商換了、硬體該汰換了,維運專業人才也已經流失多年。AceMQ 規劃並執行遷移至物件儲存與開放資料表格式的工作,將工作負載加以轉換,而不是原封搬移成一個日後還得再遷移一次的樣子。

挑戰

一套運作了十年的 Hadoop 環境,裡面有數千張 Hive 資料表、作者早已離職的 MapReduce 作業、沒有人完全看得懂的 Oozie coordinator,以及以 Ranger 政策表達、背後依賴 Kerberos 的授權機制,而這些政策無法順利對應到雲端 IAM。在找出使用端之前,什麼都不能關閉,而使用端清單從來沒有記錄在任何地方。迫使決策的通常是硬體的生命週期結束日期,留下的時間往往比工作所需的還少。

環境

地端 Hadoop 發行版,包含 HDFS、Hive、YARN、MapReduce、Oozie 與 Ranger,遷移至搭配 Delta Lake 或 Iceberg 的雲端物件儲存。

做法

AceMQ 首先從 HiveServer2 查詢日誌、HDFS 稽核日誌與排程器歷程中找出相依關係,釐清哪些資料實際被讀取、由誰讀取——通常只占現有資料的一小部分。工作負載依業務領域分批遷移,並以雙軌並行驗證;MapReduce 與 Hive 查詢會轉換為 Spark SQL,而不是以模擬方式執行;Ranger 政策則重新建立為目錄授權。待使用端確認切換完成後,再依業務領域排定除役時程。

解決方案

  1. 從 HiveServer2 查詢日誌、HDFS 稽核日誌與 Oozie 歷程中找出相依關係,區分仍在使用與已閒置的資料集
  2. 為物件儲存選擇資料表格式並重新設計分區,取代 HDFS 時代以本機磁碟為前提的配置
  3. 將 MapReduce 與 Hive 工作負載轉換為 Spark SQL,並移植或替換舊有的 UDF,而不是加一層包裝
  4. 將 Oozie coordinator 轉換為 Airflow DAG,並保留原有的相依語意
  5. 將 Ranger 與 Kerberos 授權重新建立為目錄層級的授權,並對應到既有的身分群組
  6. 分批切換,搭配雙軌並行的資料核對與依業務領域排定的除役時程

成效

客戶能依計畫的時程擺脫 Hadoop 硬體與技術支援的負擔,而不是在汰換壓力下倉促行事,並轉移到儲存與運算可各自獨立擴展的平台。相依關係盤點經常顯示,大量已儲存的資料其實沒有任何使用端,根本不需要搬移。

技術

Apache HadoopApache SparkDelta LakeApache Airflow

需要 Apache Hadoop 架構指引嗎?

AceMQ 的資深 Apache Hadoop 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。