概覽
NiFi 的 canvas 讓建立 flow 變得很容易,也讓建立一個沒有人能安全修改的 flow 變得很容易。寫死的端點、沒有 process group 邊界,加上沒有版本控管,形成一個每次變更都等於正式環境變更的整合層。AceMQ 會將 canvas 重新整理為可版本控管、參數化的元件,並建立真正的推送路徑。
挑戰
成熟的 NiFi 安裝環境常常只有一個包含數百個 processor 的 canvas,憑證與主機名稱直接打在 processor 屬性裡,各環境之間沒有區隔,而且因為沒有其他環境,變更都直接在正式環境上線。沒有人知道 canvas 的哪些部分仍在運作。要在別處重現正式環境的問題是不可能的,在 canvas 上一個誤拖就可能中斷一條擷取路徑。
環境
Apache NiFi 叢集,整合現場裝置、企業系統、Kafka 與物件儲存,橫跨地端與雲端環境。
做法
AceMQ 將 canvas 拆解為對應邏輯整合路徑的 process group,將各環境特有的值抽出到 parameter context,並將憑證移到以真正的機密儲存為後端的 parameter provider。Flow 會納入 NiFi Registry 版本控管,建立跨環境的推送路徑,並找出閒置路徑予以汰除。
解決方案
- 將 canvas 拆解為對應邏輯整合路徑、具有明確負責人的 process group
- 抽出 parameter context,讓端點、路徑與調校值不再寫死在 processor 屬性中
- 將憑證遷移到以機密儲存為後端的 parameter provider,移除 flow 定義中的明文值
- 以 NiFi Registry 進行版本控管,並定義跨開發、測試與正式環境的推送路徑
- 從 provenance 資料找出閒置的 flow,並汰除已不再承載流量的路徑
- 可重複使用的 flow 範本與命名慣例,讓新的整合遵循既有結構,而不是讓雜亂繼續擴大
成效
Flow 的變更改為透過推送路徑進行,而不是直接在正式環境上線,各環境之間的差異也變成參數值,而不是各自獨立的 canvas。汰除閒置路徑後,通常能移除 canvas 上相當比例的 processor。