概覽
如今我們與客戶談到 Pentaho,大多是在談如何退場。許多團隊背負著數百個 Kettle transformation,能看懂它們的人越來越少;執行環境的人力與授權越來越難取得;而它們餵資料的資料倉儲,其實自己就能完成大部分的轉換工作。
挑戰
該組織十多年來累積了約四百個 transformation 與 job。商業邏輯存在於步驟設定中,而非程式碼裡;排程分散在 Kettle job 與外部 cron 之間;而最熟悉整個環境的兩位工程師也即將退休。完整重寫的估計工期長達數年,因此一再延後。
環境
地端的 Pentaho Data Integration,搭配 Carte 叢集,為地端資料倉儲以及持續增加的雲端目標提供資料。
做法
AceMQ 主張依資料領域、而非依 transformation 來組織分階段遷移。我們讓擷取與轉換新舊並行,逐列比對輸出結果,直到每個領域完全一致,才只針對該領域汰除 Pentaho 路徑。擷取工作移至現代化的資料匯入工具;轉換邏輯則移入資料倉儲原生的 SQL 模型——那才是它該在的地方。
解決方案
- 解析 KTR 與 KJB 檔案以建立相依關係圖,並依下游影響程度為 transformation 排序
- 依資料領域、而非依檔案,將整個環境分成多個遷移批次
- 將擷取移至現代化的資料匯入層,並將轉換邏輯重新實作為資料倉儲 SQL 模型
- 每個批次都讓新舊管線並行執行,並自動進行列層級與彙總層級的核對
- 只有在核對結果於完整的報表週期內都維持無誤後,才逐一領域停用 Pentaho job
- 在遷移期間、而非遷移完成後,就為內部團隊進行新技術堆疊的教育訓練
成效
前幾個批次在核對無誤、報表毫無缺口的情況下完成切換,剩餘的 Pentaho 範圍縮小為一組明確界定、已排定終止日期的領域。最關鍵的是,商業邏輯最終落在納入版本控制、整個團隊都看得懂的 SQL 中。