返回所有使用案例

評估能源/公用事業

還原十年來沒有文件的 Kettle 轉換實際在做什麼

公用事業控股公司

在任何人嘗試修改或替換之前,為一批沒有文件的傳統 Kettle 轉換重建資料血緣與文件。

概覽

看不懂的東西,就無法安全地遷移或修改。長期運作的 Pentaho 環境通常沒有任何資料血緣文件,轉換的 XML 是業務規則唯一留存的規格。

挑戰

這家公司透過兩次併購承接了一套 Pentaho 環境。沒有任何圖表說明資料從哪裡流向哪裡,好幾個轉換寫入沒有人說得出用途的資料表,而且至少有一個夜間作業已經部分失敗好幾個月,卻沒有人能判斷它的輸出是否仍然重要。

環境

地端的 Pentaho Data Integration,從 SQL Server 與平面檔投遞讀取資料,寫入地端報表資料倉儲以及多個下游擷取檔。

做法

AceMQ 直接解析轉換與作業的 XML,擷取來源資料表、目標資料表、各步驟邏輯與作業編排,再將這份靜態圖像與執行日誌以及實際的資料庫寫入活動進行比對,區分哪些真的在執行、哪些只是存在而已。

解決方案

  1. 解析 KTR 與 KJB 檔案,不需設計工具即可擷取資料表層級與欄位層級的資料血緣
  2. 將靜態資料血緣與執行日誌比對,區分運作中與閒置的作業
  3. 記錄內嵌於 JavaScript 步驟、計算器與手寫 SQL 中的業務規則
  4. 找出沒有下游使用者的孤立目標資料表與轉換
  5. 以團隊能自行維護的格式,產出資料血緣圖與各轉換的規則目錄

成效

團隊取得一份原本幾乎無法看透的環境的可讀地圖,汰除了一批經確認沒有供應任何下游的作業,也擁有足夠的資料,能實事求是地規劃替換範圍,而不必用猜的。

技術

PentahoPostgreSQLSQL Serverdbt

準備好進行 Pentaho 健康檢查了嗎?

AceMQ 的資深 Pentaho 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。