導入事例の一覧に戻る

コンサルティング業界横断

ハードウェアの更新期限に決断を迫られる前に、計画的にHadoopから移行する

全国規模の保険会社

老朽化したHadoopクラスターから、オブジェクトストレージとオープンなテーブルフォーマットへ移行しました。Hive、MapReduce、Oozieのワークロードは、そのまま移すのではなく書き換えました。

概要

現在稼働しているHadoopクラスターの多くは、残された時間がわずかです。ディストリビューションのベンダーは変わり、ハードウェアは更新時期を迎え、運用のノウハウを持つ人材は何年も前から流出しています。AceMQは、オブジェクトストレージとオープンなテーブルフォーマットへの移行を計画・実行します。その際、ワークロードはそのまま持ち上げるのではなく書き換え、再び移行が必要になるような形にはしません。

課題

10年来のHadoop環境には、数千のHiveテーブル、作成者がすでに退職したMapReduceのジョブ、誰も全体を理解していないOozieのコーディネーター、そしてクラウドのIAMにきれいに対応しないRangerポリシーで表現されたKerberosベースの認可が含まれています。利用者を見つけるまでは何も停止できませんが、その利用者の一覧はどこにも書き残されていません。移行を迫るきっかけはたいていハードウェアのサポート終了日で、作業に必要な時間よりも残された時間のほうが短くなります。

環境

HDFS、Hive、YARN、MapReduce、Oozie、Rangerを備えたオンプレミスのHadoopディストリビューションから、Delta LakeまたはIcebergを使うクラウドのオブジェクトストレージへの移行。

アプローチ

AceMQはまず、HiveServer2のクエリログ、HDFSの監査ログ、スケジューラーの履歴から依存関係を洗い出し、実際に何が誰に読まれているのかを明らかにします。たいていは、存在するデータのごく一部です。ワークロードはドメインごとにウェーブ単位で移行し、二重稼働で検証します。MapReduceとHiveのクエリはエミュレートするのではなくSpark SQLに書き換え、RangerのポリシーはカタログのGrantとして再構築します。廃止は、利用者が切り替えを確認した時点で、ドメインごとにスケジュールします。

ソリューション

  1. HiveServer2のクエリログ、HDFSの監査ログ、Oozieの履歴から依存関係を洗い出し、利用中のデータセットと休眠中のデータセットを特定
  2. ローカルディスクを前提としたHDFS時代のレイアウトに代わる、オブジェクトストレージ向けのテーブルフォーマットの選定とパーティションの再設計
  3. MapReduceとHiveのワークロードをSpark SQLに書き換え、従来のUDFはラップせずに移植または置き換え
  4. 依存関係のセマンティクスを保ったまま、OozieのコーディネーターをAirflowのDAGに変換
  5. RangerとKerberosによる認可を、既存のIDグループに対応付けたカタログレベルのGrantとして再構築
  6. 二重稼働による突き合わせを伴うウェーブ単位の切り替えと、ドメインごとの廃止スケジュール

結果

お客様は、更新期限に追われることなく計画どおりのスケジュールでHadoopのハードウェアとサポート契約から抜け出し、ストレージとコンピュートを独立してスケールできるプラットフォームへ移行できます。依存関係の洗い出しでは、保存されているデータの大部分に現役の利用者がおらず、移行する必要がまったくないことが判明するのが常です。

使用テクノロジー

Apache HadoopApache SparkDelta LakeApache Airflow

Apache Hadoopのアーキテクチャについてアドバイスが必要ですか?

AceMQのシニアApache Hadoopエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。