返回所有使用案例

技術支援政府/國防

節點在負載下斷線、重新加入、再次斷線:通常是 GC 的問題,而不是網路

公部門機關

解決 NiFi 叢集節點在負載下因心跳逾時、GC 停頓與 ZooKeeper 協調失敗而斷線的問題。

概覽

NiFi 節點只要漏掉心跳,就會被叢集協調器斷開;在持續的負載下,這種斷線再重新加入的循環可能一再重複,直到資料流實質上無法使用。網路很少是元兇。AceMQ 會診斷出真正的觸發原因,並讓叢集恢復穩定。

挑戰

冗長的垃圾回收停頓是最常見的原因:heap 規格沒有考量 flowfile 屬性的數量,或是 processor 在記憶體中持有大型屬性對應表,都會產生比心跳間隔更長的 Full GC 停頓。其他觸發原因還包括 I/O 爭用下的 ZooKeeper 工作階段逾時,以及節點帶著不一致的流程定義重新加入後發生的流程同步失敗。這三種情況在 UI 上看起來一模一樣,修正方式卻各不相同。

環境

搭配內嵌或外部 ZooKeeper 的 Apache NiFi 叢集,部署於地端或雲端虛擬機器,執行大量資料匯入流程。

做法

AceMQ 工程師將 GC 日誌、心跳時間與 ZooKeeper 工作階段事件,與斷線時間戳記相互對照,確認三者中究竟是哪一個造成問題。立即穩定的做法是調整 heap、GC 回收器與逾時值;長久的修正則針對當初讓停頓變長的流程設計或屬性數量。

解決方案

  1. 依方案而定、最快 15 分鐘起的回應目標,由專屬資深工程師 24/7 處理,不經過 Tier 1 第一線分流
  2. 將 GC 日誌、心跳與 ZooKeeper 工作階段與斷線事件相互對照,找出真正的觸發原因
  3. 依 flowfile 屬性數量與並行 processor 數量,調整 heap 規格與垃圾回收器設定
  4. 調整叢集心跳間隔與 ZooKeeper 工作階段逾時,使其相較於實測停頓時間保有餘裕
  5. 檢視在記憶體中持有大型屬性的 processor,將酬載資料移入內容(content)而非屬性
  6. 針對叢集重新啟動失敗後流程定義不一致的情況,建立流程同步與節點重新加入程序

成效

在過去會觸發斷線的負載水準下,節點不再斷線,叢集也能撐過資料匯入尖峰,不再陷入重新加入的循環。若成因是屬性數量過多,記憶體壓力下降的幅度甚至足以調降 heap,而不是調高。

技術

Apache NiFiZooKeeperApache Kafka

需要專業的 Apache NiFi 技術支援嗎?

AceMQ 的資深 Apache NiFi 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。