概覽
決定離開 Pentaho,並不代表每晚的資料載入可以停擺。多數組織在遷移實際所需的十八到三十六個月期間,都需要有人能在凌晨 3 點處理 Kettle 的問題。
挑戰
每晚的資料載入已變得不可靠:輸入資料量成長後,轉換作業因記憶體壓力而失敗;某些工作回報成功,但其中一個部分失敗的步驟卻讓目標資料表只載入了一半;而資料庫升級之後,JDBC 驅動程式的行為也有所改變。這些失敗不是在夜間以告警的形式出現,而是在隔天早上以業務單位抱怨的形式浮現。
環境
部署於地端 Linux 伺服器上的 Pentaho Data Integration,以 SQL Server 與 PostgreSQL 作為來源與目標,每晚批次時段為營運報表提供資料。
做法
AceMQ 提供專屬資深工程師,搭配 依方案而定、最快 15 分鐘起的回應目標 與 24/7 全天候服務;在客戶與真正看得懂轉換作業的人之間,沒有 Tier-1 分流佇列。我們從根源處理反覆發生的失敗,而不是重新啟動工作,並重建錯誤處理機制,讓部分載入能乾淨地以失敗收場。
解決方案
- 為在輸入量成長後失敗的轉換作業,修正 JVM 堆積與步驟層級的 row-set 大小
- 以明確的錯誤處理與交易邊界,取代無聲無息的部分載入行為
- 修正因資料庫平台升級而變得不穩定的連線池與 JDBC 驅動程式設定
- 新增工作層級與步驟層級的告警,讓夜間失敗立即通知值班人員,而不是等到早上
- 針對遷移完成前最可能再次發生的故障模式,建立操作手冊
成效
每晚反覆發生的失敗已不再出現;透過讓部分失敗中止整個載入作業,只載入一半的目標資料表也完全消失。整個環境已穩定到足以讓遷移依計畫進行,而不必在緊急壓力下推動。