導入事例の一覧に戻る

サポート業界横断

置き換えを計画している間も、レガシーなPentaho環境を安定して稼働させる

物流・流通企業

長期的な置き換えを計画している間も確実に稼働し続ける必要があるPentaho Data Integration環境に、継続的なサポートを提供しています。

概要

Pentahoからの移行を決めたからといって、夜間のロードが不要になるわけではありません。ほとんどの組織には、移行に現実的にかかる18〜36か月の間、午前3時でもKettleの問題を直せる人材が必要です。

課題

夜間のロードは不安定になっていました。入力データ量が増えるとメモリ逼迫でトランスフォーメーションが失敗し、一部が失敗したステップのせいでターゲットテーブルが中途半端にロードされているのにジョブは成功を報告し、データベースのアップグレード後にJDBCドライバーの挙動が変わっていました。障害は夜間のアラートとしてではなく、翌朝の業務部門からの苦情として表面化していました。

環境

オンプレミスのLinuxサーバー上のPentaho Data Integration。SQL ServerとPostgreSQLをソースおよびターゲットとし、夜間のバッチ処理で業務レポーティングにデータを供給。

アプローチ

AceMQは、プランに応じた15分からの対応目標と24/7の対応体制で、専任のシニアエンジニアを提供します。お客様と、実際にトランスフォーメーションを読み解けるエンジニアの間に、ティア1の一次受付キューは挟みません。繰り返し発生する障害には、ジョブを再起動するのではなく根本原因から対処し、部分的なロードがきれいに失敗するようエラー処理を再構築しました。

ソリューション

  1. 入力データ量の増加で失敗していたトランスフォーメーションについて、JVMのヒープとステップ単位の行セットのサイズを修正
  2. 気づかれない部分的なロードの挙動を、明示的なエラー処理とトランザクション境界に置き換え
  3. データベース基盤のアップグレードで不安定になったコネクションプールとJDBCドライバーの設定を修正
  4. ジョブ単位とステップ単位のアラートを追加し、夜間の障害を朝まで待たずに即座に通知
  5. 移行が完了するまでに再発する可能性が最も高い障害パターンについて、ランブックを作成

結果

繰り返し発生していた夜間の障害は止まり、部分的な失敗が起きた場合はロードを中止するようにしたことで、中途半端にロードされたターゲットテーブルもなくなりました。環境は十分に安定しており、移行は緊急対応に追われることなく計画どおりに進められます。

使用テクノロジー

PentahoSQL ServerPostgreSQLDocker

Pentahoの専門家によるサポートが必要ですか?

AceMQのシニアPentahoエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。