導入事例の一覧に戻る

アセスメントエネルギー・公益事業

Hadoopからの脱却を決める前に必要な、棚卸しとスケジュール

地域のユーティリティ事業者

Hadoopクラスター上で実際に何が稼働しているのか、維持にどれだけのコストがかかるのか、そして根拠のある移行の順序とスケジュールはどうあるべきかを明らかにしました。

概要

Hadoopの移行に予算を投じる前に、経営層は、クラスター上に何があり、何がまだ重要で、脱却にどれだけの期間がかかるのかについて、根拠に基づく答えを必要としています。AceMQは、その棚卸しと、工数の見積もりを含む段階的な計画を作成します。

課題

クラスターの実際の状態は文書化されていません。数千あるHiveテーブルのうちどれがまだ読まれているのか、どのYARNキューが本番の業務を担い、どれが放置された実験なのか、どのジョブが規制当局向けのレポーティングにデータを供給しているために中断できないのか、誰にもわかりません。こうした情報なしに示される見積もりは推測にすぎず、推測の上に組み立てた移行プログラムは長引きます。

環境

商用またはコミュニティのディストリビューションで運用される、HDFS、Hive、YARNを備えたオンプレミスのHadoopクラスター。Spark、MapReduce、Hiveのワークロードが混在。

アプローチ

AceMQは、ヒアリングに頼るのではなく、実運用を代表する期間にわたってクラスター自身の監査ログとクエリログを計測します。すべてのテーブルに最終読み取り日時と利用者のリストを、すべてのジョブに実行時間、リソース、重要度のプロファイルを付与します。運用コストは、ハードウェア、サポート、電力、そしてクラスターの保守に費やされる人員の工数まで含めてモデル化し、移行先のプラットフォームと比較します。

ソリューション

  1. HDFSの監査ログとHiveServer2のログからテーブル単位でアクセスをプロファイリングし、各データセットに最終読み取り日と利用者のリストを付与
  2. YARNキューを横断したジョブの棚卸しと、実行時間、リソース使用量、業務上の重要度による分類
  3. ハードウェアの更新、ディストリビューションのサポート、電力とラック、運用要員の工数を網羅した現状のコストモデル
  4. ディストリビューションを構成するコンポーネント群のバージョンとCVEへの露出のレビュー
  5. 依存関係の深さと業務上のリスクに基づいて順序付けし、ウェーブごとに工数を見積もった移行ウェーブの計画
  6. すべてのデータセットとジョブについて廃止か移行かを推奨し、使われていないデータは移行ではなくアーカイブの対象として指摘

結果

お客様は、推定ではなく実測したアクセスデータに裏付けられた、根拠のある移行のビジネスケースと、要員を割り当てられるウェーブ計画を手にします。使われていないデータの特定だけでも、たいていの場合、想定していた移行範囲のかなりの部分が不要になります。

使用テクノロジー

Apache HadoopApache HiveApache SparkYARN

Apache Hadoopのヘルスチェックをご検討ですか?

AceMQのシニアApache Hadoopエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。