概要
Pentahoからの移行を決めたからといって、夜間のロードが不要になるわけではありません。ほとんどの組織には、移行に現実的にかかる18〜36か月の間、午前3時でもKettleの問題を直せる人材が必要です。
課題
夜間のロードは不安定になっていました。入力データ量が増えるとメモリ逼迫でトランスフォーメーションが失敗し、一部が失敗したステップのせいでターゲットテーブルが中途半端にロードされているのにジョブは成功を報告し、データベースのアップグレード後にJDBCドライバーの挙動が変わっていました。障害は夜間のアラートとしてではなく、翌朝の業務部門からの苦情として表面化していました。
環境
オンプレミスのLinuxサーバー上のPentaho Data Integration。SQL ServerとPostgreSQLをソースおよびターゲットとし、夜間のバッチ処理で業務レポーティングにデータを供給。
アプローチ
AceMQは、プランに応じた15分からの対応目標と24/7の対応体制で、専任のシニアエンジニアを提供します。お客様と、実際にトランスフォーメーションを読み解けるエンジニアの間に、ティア1の一次受付キューは挟みません。繰り返し発生する障害には、ジョブを再起動するのではなく根本原因から対処し、部分的なロードがきれいに失敗するようエラー処理を再構築しました。
ソリューション
- 入力データ量の増加で失敗していたトランスフォーメーションについて、JVMのヒープとステップ単位の行セットのサイズを修正
- 気づかれない部分的なロードの挙動を、明示的なエラー処理とトランザクション境界に置き換え
- データベース基盤のアップグレードで不安定になったコネクションプールとJDBCドライバーの設定を修正
- ジョブ単位とステップ単位のアラートを追加し、夜間の障害を朝まで待たずに即座に通知
- 移行が完了するまでに再発する可能性が最も高い障害パターンについて、ランブックを作成
結果
繰り返し発生していた夜間の障害は止まり、部分的な失敗が起きた場合はロードを中止するようにしたことで、中途半端にロードされたターゲットテーブルもなくなりました。環境は十分に安定しており、移行は緊急対応に追われることなく計画どおりに進められます。