概要
読み解けないものを安全に移行したり変更したりすることはできません。長年運用されてきたPentaho環境には、たいていリネージのドキュメントがなく、トランスフォーメーションのXMLがビジネスルールの唯一残された仕様書になっています。
課題
同社は、2度の買収を通じてPentaho環境を引き継いでいました。何が何にデータを供給しているかを示す図はなく、いくつかのトランスフォーメーションは誰も把握していないテーブルに書き込んでいました。少なくとも1つの夜間ジョブは何か月も部分的に失敗し続けていましたが、その出力がまだ必要なのかどうかを誰も判断できずにいました。
環境
オンプレミスのPentaho Data Integration。SQL Serverとフラットファイルの受け渡しから読み込み、オンプレミスのレポーティング用データウェアハウスと複数の下流向け抽出データに書き込んでいます。
アプローチ
AceMQは、トランスフォーメーションとジョブのXMLを直接解析して、ソーステーブル、ターゲットテーブル、ステップ単位のロジック、ジョブのオーケストレーションを抽出しました。そのうえで、この静的な全体像を実行時のログと実際のデータベースへの書き込み状況と突き合わせ、実際に動いているものと、存在しているだけのものを切り分けました。
ソリューション
- KTRファイルとKJBファイルを解析し、設計ツールを使わずにテーブル単位とカラム単位のリネージを抽出
- 静的なリネージを実行時のログと突き合わせ、稼働中のジョブと休眠中のジョブを判別
- JavaScriptステップ、計算ステップ、手書きのSQLに埋め込まれたビジネスルールを文書化
- 下流の利用者がいない孤立したターゲットテーブルとトランスフォーメーションを特定
- チームが保守できる形式で、リネージ図とトランスフォーメーションごとのルールカタログを作成
結果
チームは事実上ブラックボックスだった環境を読み解ける地図を手にし、どこにもデータを供給していないことが確認されたジョブ群を廃止しました。さらに、置き換えの範囲を推測に頼らず正確に見積もるために必要な成果物もそろいました。