返回所有使用案例

顧問服務醫療保健/福利

不必一次全部重寫,也能告別 Pentaho

醫療保險機構

規劃並執行分階段的遷移,從 Pentaho Data Integration 移至現代化 ELT 技術堆疊,無須一次性切換數百個 transformation。

概覽

如今我們與客戶談到 Pentaho,大多是在談如何退場。許多團隊背負著數百個 Kettle transformation,能看懂它們的人越來越少;執行環境的人力與授權越來越難取得;而它們餵資料的資料倉儲,其實自己就能完成大部分的轉換工作。

挑戰

該組織十多年來累積了約四百個 transformation 與 job。商業邏輯存在於步驟設定中,而非程式碼裡;排程分散在 Kettle job 與外部 cron 之間;而最熟悉整個環境的兩位工程師也即將退休。完整重寫的估計工期長達數年,因此一再延後。

環境

地端的 Pentaho Data Integration,搭配 Carte 叢集,為地端資料倉儲以及持續增加的雲端目標提供資料。

做法

AceMQ 主張依資料領域、而非依 transformation 來組織分階段遷移。我們讓擷取與轉換新舊並行,逐列比對輸出結果,直到每個領域完全一致,才只針對該領域汰除 Pentaho 路徑。擷取工作移至現代化的資料匯入工具;轉換邏輯則移入資料倉儲原生的 SQL 模型——那才是它該在的地方。

解決方案

  1. 解析 KTR 與 KJB 檔案以建立相依關係圖,並依下游影響程度為 transformation 排序
  2. 依資料領域、而非依檔案,將整個環境分成多個遷移批次
  3. 將擷取移至現代化的資料匯入層,並將轉換邏輯重新實作為資料倉儲 SQL 模型
  4. 每個批次都讓新舊管線並行執行,並自動進行列層級與彙總層級的核對
  5. 只有在核對結果於完整的報表週期內都維持無誤後,才逐一領域停用 Pentaho job
  6. 在遷移期間、而非遷移完成後,就為內部團隊進行新技術堆疊的教育訓練

成效

前幾個批次在核對無誤、報表毫無缺口的情況下完成切換,剩餘的 Pentaho 範圍縮小為一組明確界定、已排定終止日期的領域。最關鍵的是,商業邏輯最終落在納入版本控制、整個團隊都看得懂的 SQL 中。

技術

PentahoAirbytedbtPostgreSQLKubernetes

需要 Pentaho 架構指引嗎?

AceMQ 的資深 Pentaho 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。