概要
最近当社が受けるPentahoのご相談の多くは、移行についてのものです。多くのチームが、理解できる人が減り続けている数百のKettleのトランスフォーメーションを抱えています。それが動くランタイムは人材の確保もライセンスもますます難しくなっており、その先のデータウェアハウスは、変換処理の大半を自ら担えるにもかかわらずです。
課題
この組織には、10年以上にわたって蓄積された約400のトランスフォーメーションとジョブがありました。ビジネスロジックはコードではなくステップの設定の中にあり、スケジューリングはKettleのジョブと外部のcronに分散し、環境を最もよく知る2人のエンジニアは定年が近づいていました。全面的な書き直しには数年かかると見積もられ、何度も先送りされていました。
環境
Carteクラスターを備えたオンプレミスのPentaho Data Integration。オンプレミスのデータウェアハウスと、増え続けるクラウドのターゲットにデータを供給。
アプローチ
AceMQは、トランスフォーメーション単位ではなく、データドメイン単位で編成した段階的な移行を提案しました。抽出と変換を並行稼働させ、各ドメインの出力が行単位で一致するまで比較し、そのドメインについてだけPentahoの経路を廃止しました。抽出はモダンな取り込みツールに移し、変換ロジックは本来あるべき場所である、データウェアハウスネイティブのSQLモデルに移しました。
ソリューション
- KTRとKJBのファイルを解析して依存関係グラフを構築し、下流への影響でトランスフォーメーションを順位付け
- 環境全体を、ファイル単位ではなくデータドメイン単位で移行のウェーブに分割
- 抽出をモダンな取り込みレイヤーに移し、変換ロジックをデータウェアハウスのSQLモデルとして再実装
- ウェーブごとに、行レベルと集計値の自動突き合わせを行いながら、新旧のパイプラインを並行稼働
- レポートの1サイクルを通じて突き合わせの結果に問題がないことを確認してから、ドメインごとにPentahoのジョブを廃止
- 移行の完了後ではなく移行の期間中に、新しいスタックについて社内チームをトレーニング
結果
最初のウェーブは、突き合わせの結果に問題がなく、レポートの欠落もないまま切り替わりました。残るPentahoの範囲は、終了予定日の決まった明確なドメインの集合にまで縮小しました。そして何より重要なのは、ロジックが、チーム全員が読めるバージョン管理されたSQLに収まったことです。