返回所有使用案例

顧問服務工業/製造

把沒有人敢碰的 canvas,變成可以版本控管與推送的 flow

工業自動化製造商

將雜亂蔓延的 NiFi canvas 重新整理為可版本控管、參數化、可測試的 flow,並建立跨環境的推送路徑。

概覽

NiFi 的 canvas 讓建立 flow 變得很容易,也讓建立一個沒有人能安全修改的 flow 變得很容易。寫死的端點、沒有 process group 邊界,加上沒有版本控管,形成一個每次變更都等於正式環境變更的整合層。AceMQ 會將 canvas 重新整理為可版本控管、參數化的元件,並建立真正的推送路徑。

挑戰

成熟的 NiFi 安裝環境常常只有一個包含數百個 processor 的 canvas,憑證與主機名稱直接打在 processor 屬性裡,各環境之間沒有區隔,而且因為沒有其他環境,變更都直接在正式環境上線。沒有人知道 canvas 的哪些部分仍在運作。要在別處重現正式環境的問題是不可能的,在 canvas 上一個誤拖就可能中斷一條擷取路徑。

環境

Apache NiFi 叢集,整合現場裝置、企業系統、Kafka 與物件儲存,橫跨地端與雲端環境。

做法

AceMQ 將 canvas 拆解為對應邏輯整合路徑的 process group,將各環境特有的值抽出到 parameter context,並將憑證移到以真正的機密儲存為後端的 parameter provider。Flow 會納入 NiFi Registry 版本控管,建立跨環境的推送路徑,並找出閒置路徑予以汰除。

解決方案

  1. 將 canvas 拆解為對應邏輯整合路徑、具有明確負責人的 process group
  2. 抽出 parameter context,讓端點、路徑與調校值不再寫死在 processor 屬性中
  3. 將憑證遷移到以機密儲存為後端的 parameter provider,移除 flow 定義中的明文值
  4. 以 NiFi Registry 進行版本控管,並定義跨開發、測試與正式環境的推送路徑
  5. 從 provenance 資料找出閒置的 flow,並汰除已不再承載流量的路徑
  6. 可重複使用的 flow 範本與命名慣例,讓新的整合遵循既有結構,而不是讓雜亂繼續擴大

成效

Flow 的變更改為透過推送路徑進行,而不是直接在正式環境上線,各環境之間的差異也變成參數值,而不是各自獨立的 canvas。汰除閒置路徑後,通常能移除 canvas 上相當比例的 processor。

技術

Apache NiFiNiFi RegistryApache KafkaKubernetes

需要 Apache NiFi 架構指引嗎?

AceMQ 的資深 Apache NiFi 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。