返回所有使用案例

問題修復工業/製造

卡住的 Carte slave、洩漏的記憶體,以及永遠不會回來的轉換

工業產品製造商

解決 Carte slave 伺服器不穩定的問題:長時間執行的叢集式轉換會卡住、洩漏記憶體,並留下孤立的 Carte 工作階段。

概覽

叢集式的 Pentaho 執行會把工作分派到 Carte slave 伺服器上;當這些 slave 效能劣化時,症狀就是轉換永遠跑不完。master 會無限期地回報它仍在執行,而維運人員唯一能做的就是重新啟動。

挑戰

叢集式轉換開始每週卡住好幾次。Carte slave 的 JVM 記憶體整天持續成長且從未回收,孤立的轉換工作階段在 slave 的登錄中不斷累積,重新啟動 master 也無法清除。批次處理時段開始延宕到正式生產班次。

環境

Pentaho Data Integration,在地端 Linux 主機上配置一台 Carte master 與數台 slave 伺服器,為製造業報表資料倉儲提供資料。

做法

AceMQ 沒有直接重新啟動卡住的 slave,而是先擷取其 heap dump 與 thread dump,從中找出資料列在哪裡堆積,以及哪一個步驟造成阻塞。我們修正了導致無上限緩衝的 row set 大小,加入生命週期處理,讓已完成的轉換會從 slave 登錄中清除,並將 slave 容器化,讓效能劣化的執行個體直接被替換,而不是費心照料。

解決方案

  1. 從卡住的 Carte slave 擷取 heap dump 與 thread dump,找出造成阻塞的步驟與緩衝行為
  2. 修正 row set 大小與分割設定,讓叢集式步驟不再無上限地緩衝
  3. 從 slave 登錄中清除已完成及孤立的轉換工作階段
  4. 將 Carte slave 容器化並加入健康檢查,讓效能劣化的執行個體自動被替換
  5. 監控 slave JVM 記憶體與執行中的轉換數量,並設定告警門檻

成效

每週發生的卡住情況不再出現,批次處理時段也回到預定時間之內。slave 重新啟動從原本需要人工在夜間處理的工作,變成罕見且自動化的事件。

技術

PentahoPostgreSQLDockerKubernetes

正面臨 Pentaho 正式環境問題嗎?

AceMQ 的資深 Pentaho 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。