概覽
看不懂的東西,就無法安全地遷移或修改。長期運作的 Pentaho 環境通常沒有任何資料血緣文件,轉換的 XML 是業務規則唯一留存的規格。
挑戰
這家公司透過兩次併購承接了一套 Pentaho 環境。沒有任何圖表說明資料從哪裡流向哪裡,好幾個轉換寫入沒有人說得出用途的資料表,而且至少有一個夜間作業已經部分失敗好幾個月,卻沒有人能判斷它的輸出是否仍然重要。
環境
地端的 Pentaho Data Integration,從 SQL Server 與平面檔投遞讀取資料,寫入地端報表資料倉儲以及多個下游擷取檔。
做法
AceMQ 直接解析轉換與作業的 XML,擷取來源資料表、目標資料表、各步驟邏輯與作業編排,再將這份靜態圖像與執行日誌以及實際的資料庫寫入活動進行比對,區分哪些真的在執行、哪些只是存在而已。
解決方案
- 解析 KTR 與 KJB 檔案,不需設計工具即可擷取資料表層級與欄位層級的資料血緣
- 將靜態資料血緣與執行日誌比對,區分運作中與閒置的作業
- 記錄內嵌於 JavaScript 步驟、計算器與手寫 SQL 中的業務規則
- 找出沒有下游使用者的孤立目標資料表與轉換
- 以團隊能自行維護的格式,產出資料血緣圖與各轉換的規則目錄
成效
團隊取得一份原本幾乎無法看透的環境的可讀地圖,汰除了一批經確認沒有供應任何下游的作業,也擁有足夠的資料,能實事求是地規劃替換範圍,而不必用猜的。