概覽
Hadoop 維運專業人才多年來持續流失,但這些叢集仍在正式環境中運作,而且仍承載著受法規監管的工作負載。AceMQ 提供 24/7 的專屬資深工程師,確保叢集在遷移完成之前持續穩定運作。
挑戰
常見的正式環境事故包括:某個佇列因為 capacity 與 maximum-capacity 設定從未調和,而獨占整個叢集;應用程式因 ApplicationMaster 資源百分比耗盡而卡在 ACCEPTED 狀態;NodeManager 因本機目錄已滿而被標示為 unhealthy;以及容器因超出實體記憶體而被終止,但真正的問題其實是堆積以外的 JVM 額外負擔。這些問題對有經驗的人來說幾分鐘就能診斷出來,對沒遇過的人卻可能耗上好幾天。
環境
以 Capacity 或 Fair Scheduler 執行 YARN 的地端 Hadoop 叢集,混合 Spark、Hive 與 MapReduce 工作負載。
做法
AceMQ 工程師透過 ResourceManager 與 NodeManager 日誌、排程器佇列指標與容器結束代碼,判斷問題究竟出在排程、資源還是節點本身。我們會先穩定系統,再調整佇列設定或記憶體配置,從根本消除問題再次發生的可能。
解決方案
- 依方案而定、最快 15 分鐘起的回應目標,24/7 由專屬資深工程師處理,沒有 Tier-1 分流層
- 檢視佇列的 capacity、maximum-capacity 與 user-limit-factor 設定,解決資源匱乏與佇列無限制擴張的問題
- 診斷卡在 ACCEPTED 狀態的應用程式,包括 ApplicationMaster 資源百分比耗盡的情況
- NodeManager 健康狀態診斷,涵蓋本機與日誌目錄空間耗盡,以及磁碟故障門檻
- 從堆積、額外負擔與 vmem 比率三方面調整容器記憶體配置,停止那些其實源自 JVM 額外負擔的終止事件
- 在不同優先順序的混合工作負載必須共用叢集時,設定搶占(preemption)與節點標籤
成效
客戶不必自行維持稀缺的 Hadoop 內部專業人才,也能在遷移期間讓 Hadoop 叢集穩定運作;反覆發生的排程器事故也能在設定層級獲得解決,而不是靠重新啟動 ResourceManager。