返回所有使用案例

技術支援跨產業

在規劃替代方案的同時,讓舊有的 Pentaho 環境維持穩定可靠

物流與配銷公司

在規劃長期替代方案的同時,為必須持續穩定運作的 Pentaho Data Integration 環境提供持續技術支援。

概覽

決定離開 Pentaho,並不代表每晚的資料載入可以停擺。多數組織在遷移實際所需的十八到三十六個月期間,都需要有人能在凌晨 3 點處理 Kettle 的問題。

挑戰

每晚的資料載入已變得不可靠:輸入資料量成長後,轉換作業因記憶體壓力而失敗;某些工作回報成功,但其中一個部分失敗的步驟卻讓目標資料表只載入了一半;而資料庫升級之後,JDBC 驅動程式的行為也有所改變。這些失敗不是在夜間以告警的形式出現,而是在隔天早上以業務單位抱怨的形式浮現。

環境

部署於地端 Linux 伺服器上的 Pentaho Data Integration,以 SQL Server 與 PostgreSQL 作為來源與目標,每晚批次時段為營運報表提供資料。

做法

AceMQ 提供專屬資深工程師,搭配 依方案而定、最快 15 分鐘起的回應目標 與 24/7 全天候服務;在客戶與真正看得懂轉換作業的人之間,沒有 Tier-1 分流佇列。我們從根源處理反覆發生的失敗,而不是重新啟動工作,並重建錯誤處理機制,讓部分載入能乾淨地以失敗收場。

解決方案

  1. 為在輸入量成長後失敗的轉換作業,修正 JVM 堆積與步驟層級的 row-set 大小
  2. 以明確的錯誤處理與交易邊界,取代無聲無息的部分載入行為
  3. 修正因資料庫平台升級而變得不穩定的連線池與 JDBC 驅動程式設定
  4. 新增工作層級與步驟層級的告警,讓夜間失敗立即通知值班人員,而不是等到早上
  5. 針對遷移完成前最可能再次發生的故障模式,建立操作手冊

成效

每晚反覆發生的失敗已不再出現;透過讓部分失敗中止整個載入作業,只載入一半的目標資料表也完全消失。整個環境已穩定到足以讓遷移依計畫進行,而不必在緊急壓力下推動。

技術

PentahoSQL ServerPostgreSQLDocker

需要專業的 Pentaho 技術支援嗎?

AceMQ 的資深 Pentaho 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。