導入事例の一覧に戻る

サポート官公庁・防衛

稼働を止められないクラスターのために、Hadoopの専門家が待機

公共機関

本番のHadoopクラスターで発生するYARNキューのスタベーション、コンテナの割り当て失敗、NodeManagerの不安定化に、専任のエンジニアがサポートを提供しています。

概要

Hadoopの運用ノウハウを持つ人材は、何年も前から市場から姿を消しつつあります。それでもクラスターは今も本番で稼働し、規制対象のワークロードを担い続けています。AceMQは、移行が完了するまで動かし続けなければならないクラスターのために、専任のシニアエンジニアによる24/7のサポートを提供します。

課題

本番環境でよく起こるインシデントには、capacityとmaximum-capacityの設定が整合されていなかったために1つのキューがクラスターを占有してしまう、ApplicationMasterのリソース割合が上限に達してアプリケーションがACCEPTEDのまま止まる、ローカルディレクトリが満杯になってNodeManagerがunhealthyと判定される、本当の問題はヒープ外のJVMオーバーヘッドなのに物理メモリの超過でコンテナが強制終了される、といったものがあります。これらは、経験のある人なら数分で診断できますが、経験のない人だと数日かかることもあります。

環境

Capacity SchedulerまたはFair SchedulerでYARNを稼働させるオンプレミスのHadoopクラスター。Spark、Hive、MapReduceのワークロードが混在。

アプローチ

AceMQのエンジニアは、ResourceManagerとNodeManagerのログ、スケジューラーのキューのメトリクス、コンテナの終了コードをもとに、スケジューリングの問題か、リソースの問題か、ノードの問題かを切り分けます。まず安定化を図り、そのうえで再発を防ぐキュー設定やメモリサイジングの変更を行います。

ソリューション

  1. プランに応じた15分からの対応目標、専任のシニアエンジニアによる24/7対応、一次受付窓口を介さない直接対応
  2. capacity、maximum-capacity、user-limit-factorを見直し、スタベーションと際限のないキューの膨張を解消
  3. ApplicationMasterのリソース割合の枯渇を含め、ACCEPTEDのまま止まるアプリケーションを診断
  4. ローカルディレクトリとログディレクトリの枯渇や、ディスク障害のしきい値を含むNodeManagerの健全性を診断
  5. ヒープ、オーバーヘッド、vmem比率にまたがるコンテナのメモリサイジングにより、実際にはJVMオーバーヘッドが原因の強制終了を防止
  6. 優先度の異なる混在ワークロードが1つのクラスターを共有する必要がある場合に、プリエンプションとノードラベルを設定

結果

お客様は、希少なHadoopの専門人材を社内に抱えることなく、移行期間中もHadoopクラスターを安定して稼働させています。繰り返し発生していたスケジューラーのインシデントは、ResourceManagerの再起動ではなく、設定レベルで解決されています。

使用テクノロジー

Apache HadoopYARNApache SparkApache Hive

Apache Hadoopの専門家によるサポートが必要ですか?

AceMQのシニアApache Hadoopエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。