返回所有使用案例

技術支援政府/國防

隨時待命的 Hadoop 專業能力,守護仍須持續運作的叢集

公部門機關

由專屬工程師處理正式環境 Hadoop 叢集中的 YARN 佇列資源匱乏、容器配置失敗與 NodeManager 不穩定等問題。

概覽

Hadoop 維運專業人才多年來持續流失,但這些叢集仍在正式環境中運作,而且仍承載著受法規監管的工作負載。AceMQ 提供 24/7 的專屬資深工程師,確保叢集在遷移完成之前持續穩定運作。

挑戰

常見的正式環境事故包括:某個佇列因為 capacity 與 maximum-capacity 設定從未調和,而獨占整個叢集;應用程式因 ApplicationMaster 資源百分比耗盡而卡在 ACCEPTED 狀態;NodeManager 因本機目錄已滿而被標示為 unhealthy;以及容器因超出實體記憶體而被終止,但真正的問題其實是堆積以外的 JVM 額外負擔。這些問題對有經驗的人來說幾分鐘就能診斷出來,對沒遇過的人卻可能耗上好幾天。

環境

以 Capacity 或 Fair Scheduler 執行 YARN 的地端 Hadoop 叢集,混合 Spark、Hive 與 MapReduce 工作負載。

做法

AceMQ 工程師透過 ResourceManager 與 NodeManager 日誌、排程器佇列指標與容器結束代碼,判斷問題究竟出在排程、資源還是節點本身。我們會先穩定系統,再調整佇列設定或記憶體配置,從根本消除問題再次發生的可能。

解決方案

  1. 依方案而定、最快 15 分鐘起的回應目標,24/7 由專屬資深工程師處理,沒有 Tier-1 分流層
  2. 檢視佇列的 capacity、maximum-capacity 與 user-limit-factor 設定,解決資源匱乏與佇列無限制擴張的問題
  3. 診斷卡在 ACCEPTED 狀態的應用程式,包括 ApplicationMaster 資源百分比耗盡的情況
  4. NodeManager 健康狀態診斷,涵蓋本機與日誌目錄空間耗盡,以及磁碟故障門檻
  5. 從堆積、額外負擔與 vmem 比率三方面調整容器記憶體配置,停止那些其實源自 JVM 額外負擔的終止事件
  6. 在不同優先順序的混合工作負載必須共用叢集時,設定搶占(preemption)與節點標籤

成效

客戶不必自行維持稀缺的 Hadoop 內部專業人才,也能在遷移期間讓 Hadoop 叢集穩定運作;反覆發生的排程器事故也能在設定層級獲得解決,而不是靠重新啟動 ResourceManager。

技術

Apache HadoopYARNApache SparkApache Hive

需要專業的 Apache Hadoop 技術支援嗎?

AceMQ 的資深 Apache Hadoop 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。