概覽
HDFS 會把整個命名空間保存在 NameNode 記憶體中,因此限制叢集的是檔案數量,而不是資料量。當小檔案氾濫把 heap 推向上限,GC 停頓會越拉越長,直到用戶端開始逾時、容錯移轉反覆切換。AceMQ 會先穩定 NameNode,再根除產生這些檔案的源頭。
挑戰
每個微批次寫出一個檔案的匯入作業、分割過細的 Hive 資料表,以及多年未壓縮整併的落地區,累積出數千萬個各自只存放極少資料的物件。heap 持續攀升,Full GC 停頓長達數十秒,standby NameNode 的健康檢查失敗,自動容錯移轉在一次其實並非故障的停頓中被觸發。由於載入 fsimage 與重播 edits 所需的時間越來越長,重新啟動也變得越來越有風險。
環境
地端 HDFS 叢集,具備 HA NameNode 與 JournalNode,並承載混合的 Hive、Spark 與資料匯入工作負載。
做法
AceMQ 先分析命名空間,找出檔案數量集中的位置,接著立即透過 heap 與 GC 調校以及容錯移轉時間參數的調整爭取餘裕,讓叢集不再反覆切換。然後在受控負載下對最嚴重的目錄執行壓縮整併,並修正產生檔案的作業,讓檔案數量停止攀升。若氾濫是結構性問題,則採用封存與格式轉換。
解決方案
- 透過 fsimage 分析進行命名空間剖析,依檔案數量相對於儲存位元組數為各目錄排序
- 調整 NameNode heap 大小與 GC 設定,縮短 Full GC 停頓時間
- 調整容錯移轉與健康檢查的時間參數,讓冗長的 GC 停頓不再觸發不必要的 standby 升格
- 在受控負載下分階段壓縮整併檔案數最多的目錄,包括 Hive 資料表合併(concatenation)
- 修正產生檔案的作業,包括批次間隔、輸出分割區數量與分割欄位的選擇
- 針對必須保留但不需直接查詢的冷資料集,進行 HAR 封存或格式遷移
成效
GC 停頓回到不再誤觸容錯移轉的範圍,NameNode 重新啟動時間也重新受到控制。由於產生檔案的作業在同一個專案中一併修正,命名空間不會再次增長逼近上限。