返回所有使用案例

問題修復跨產業

每一個小檔案都會吃掉 NameNode heap,而 heap 正是叢集的硬性上限

全球物流業者

在叢集失去中繼資料服務之前,緩解 HDFS 上小檔案氾濫所造成的 NameNode heap 壓力與冗長 GC 停頓。

概覽

HDFS 會把整個命名空間保存在 NameNode 記憶體中,因此限制叢集的是檔案數量,而不是資料量。當小檔案氾濫把 heap 推向上限,GC 停頓會越拉越長,直到用戶端開始逾時、容錯移轉反覆切換。AceMQ 會先穩定 NameNode,再根除產生這些檔案的源頭。

挑戰

每個微批次寫出一個檔案的匯入作業、分割過細的 Hive 資料表,以及多年未壓縮整併的落地區,累積出數千萬個各自只存放極少資料的物件。heap 持續攀升,Full GC 停頓長達數十秒,standby NameNode 的健康檢查失敗,自動容錯移轉在一次其實並非故障的停頓中被觸發。由於載入 fsimage 與重播 edits 所需的時間越來越長,重新啟動也變得越來越有風險。

環境

地端 HDFS 叢集,具備 HA NameNode 與 JournalNode,並承載混合的 Hive、Spark 與資料匯入工作負載。

做法

AceMQ 先分析命名空間,找出檔案數量集中的位置,接著立即透過 heap 與 GC 調校以及容錯移轉時間參數的調整爭取餘裕,讓叢集不再反覆切換。然後在受控負載下對最嚴重的目錄執行壓縮整併,並修正產生檔案的作業,讓檔案數量停止攀升。若氾濫是結構性問題,則採用封存與格式轉換。

解決方案

  1. 透過 fsimage 分析進行命名空間剖析,依檔案數量相對於儲存位元組數為各目錄排序
  2. 調整 NameNode heap 大小與 GC 設定,縮短 Full GC 停頓時間
  3. 調整容錯移轉與健康檢查的時間參數,讓冗長的 GC 停頓不再觸發不必要的 standby 升格
  4. 在受控負載下分階段壓縮整併檔案數最多的目錄,包括 Hive 資料表合併(concatenation)
  5. 修正產生檔案的作業,包括批次間隔、輸出分割區數量與分割欄位的選擇
  6. 針對必須保留但不需直接查詢的冷資料集,進行 HAR 封存或格式遷移

成效

GC 停頓回到不再誤觸容錯移轉的範圍,NameNode 重新啟動時間也重新受到控制。由於產生檔案的作業在同一個專案中一併修正,命名空間不會再次增長逼近上限。

技術

Apache HadoopApache HiveApache SparkYARN

正面臨 Apache Hadoop 正式環境問題嗎?

AceMQ 的資深 Apache Hadoop 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。