概要
Hadoopの運用ノウハウを持つ人材は、何年も前から市場から姿を消しつつあります。それでもクラスターは今も本番で稼働し、規制対象のワークロードを担い続けています。AceMQは、移行が完了するまで動かし続けなければならないクラスターのために、専任のシニアエンジニアによる24/7のサポートを提供します。
課題
本番環境でよく起こるインシデントには、capacityとmaximum-capacityの設定が整合されていなかったために1つのキューがクラスターを占有してしまう、ApplicationMasterのリソース割合が上限に達してアプリケーションがACCEPTEDのまま止まる、ローカルディレクトリが満杯になってNodeManagerがunhealthyと判定される、本当の問題はヒープ外のJVMオーバーヘッドなのに物理メモリの超過でコンテナが強制終了される、といったものがあります。これらは、経験のある人なら数分で診断できますが、経験のない人だと数日かかることもあります。
環境
Capacity SchedulerまたはFair SchedulerでYARNを稼働させるオンプレミスのHadoopクラスター。Spark、Hive、MapReduceのワークロードが混在。
アプローチ
AceMQのエンジニアは、ResourceManagerとNodeManagerのログ、スケジューラーのキューのメトリクス、コンテナの終了コードをもとに、スケジューリングの問題か、リソースの問題か、ノードの問題かを切り分けます。まず安定化を図り、そのうえで再発を防ぐキュー設定やメモリサイジングの変更を行います。
ソリューション
- プランに応じた15分からの対応目標、専任のシニアエンジニアによる24/7対応、一次受付窓口を介さない直接対応
- capacity、maximum-capacity、user-limit-factorを見直し、スタベーションと際限のないキューの膨張を解消
- ApplicationMasterのリソース割合の枯渇を含め、ACCEPTEDのまま止まるアプリケーションを診断
- ローカルディレクトリとログディレクトリの枯渇や、ディスク障害のしきい値を含むNodeManagerの健全性を診断
- ヒープ、オーバーヘッド、vmem比率にまたがるコンテナのメモリサイジングにより、実際にはJVMオーバーヘッドが原因の強制終了を防止
- 優先度の異なる混在ワークロードが1つのクラスターを共有する必要がある場合に、プリエンプションとノードラベルを設定
結果
お客様は、希少なHadoopの専門人材を社内に抱えることなく、移行期間中もHadoopクラスターを安定して稼働させています。繰り返し発生していたスケジューラーのインシデントは、ResourceManagerの再起動ではなく、設定レベルで解決されています。