概要
現在稼働しているHadoopクラスターの多くは、残された時間がわずかです。ディストリビューションのベンダーは変わり、ハードウェアは更新時期を迎え、運用のノウハウを持つ人材は何年も前から流出しています。AceMQは、オブジェクトストレージとオープンなテーブルフォーマットへの移行を計画・実行します。その際、ワークロードはそのまま持ち上げるのではなく書き換え、再び移行が必要になるような形にはしません。
課題
10年来のHadoop環境には、数千のHiveテーブル、作成者がすでに退職したMapReduceのジョブ、誰も全体を理解していないOozieのコーディネーター、そしてクラウドのIAMにきれいに対応しないRangerポリシーで表現されたKerberosベースの認可が含まれています。利用者を見つけるまでは何も停止できませんが、その利用者の一覧はどこにも書き残されていません。移行を迫るきっかけはたいていハードウェアのサポート終了日で、作業に必要な時間よりも残された時間のほうが短くなります。
環境
HDFS、Hive、YARN、MapReduce、Oozie、Rangerを備えたオンプレミスのHadoopディストリビューションから、Delta LakeまたはIcebergを使うクラウドのオブジェクトストレージへの移行。
アプローチ
AceMQはまず、HiveServer2のクエリログ、HDFSの監査ログ、スケジューラーの履歴から依存関係を洗い出し、実際に何が誰に読まれているのかを明らかにします。たいていは、存在するデータのごく一部です。ワークロードはドメインごとにウェーブ単位で移行し、二重稼働で検証します。MapReduceとHiveのクエリはエミュレートするのではなくSpark SQLに書き換え、RangerのポリシーはカタログのGrantとして再構築します。廃止は、利用者が切り替えを確認した時点で、ドメインごとにスケジュールします。
ソリューション
- HiveServer2のクエリログ、HDFSの監査ログ、Oozieの履歴から依存関係を洗い出し、利用中のデータセットと休眠中のデータセットを特定
- ローカルディスクを前提としたHDFS時代のレイアウトに代わる、オブジェクトストレージ向けのテーブルフォーマットの選定とパーティションの再設計
- MapReduceとHiveのワークロードをSpark SQLに書き換え、従来のUDFはラップせずに移植または置き換え
- 依存関係のセマンティクスを保ったまま、OozieのコーディネーターをAirflowのDAGに変換
- RangerとKerberosによる認可を、既存のIDグループに対応付けたカタログレベルのGrantとして再構築
- 二重稼働による突き合わせを伴うウェーブ単位の切り替えと、ドメインごとの廃止スケジュール
結果
お客様は、更新期限に追われることなく計画どおりのスケジュールでHadoopのハードウェアとサポート契約から抜け出し、ストレージとコンピュートを独立してスケールできるプラットフォームへ移行できます。依存関係の洗い出しでは、保存されているデータの大部分に現役の利用者がおらず、移行する必要がまったくないことが判明するのが常です。