概覽
NiFi 節點只要漏掉心跳,就會被叢集協調器斷開;在持續的負載下,這種斷線再重新加入的循環可能一再重複,直到資料流實質上無法使用。網路很少是元兇。AceMQ 會診斷出真正的觸發原因,並讓叢集恢復穩定。
挑戰
冗長的垃圾回收停頓是最常見的原因:heap 規格沒有考量 flowfile 屬性的數量,或是 processor 在記憶體中持有大型屬性對應表,都會產生比心跳間隔更長的 Full GC 停頓。其他觸發原因還包括 I/O 爭用下的 ZooKeeper 工作階段逾時,以及節點帶著不一致的流程定義重新加入後發生的流程同步失敗。這三種情況在 UI 上看起來一模一樣,修正方式卻各不相同。
環境
搭配內嵌或外部 ZooKeeper 的 Apache NiFi 叢集,部署於地端或雲端虛擬機器,執行大量資料匯入流程。
做法
AceMQ 工程師將 GC 日誌、心跳時間與 ZooKeeper 工作階段事件,與斷線時間戳記相互對照,確認三者中究竟是哪一個造成問題。立即穩定的做法是調整 heap、GC 回收器與逾時值;長久的修正則針對當初讓停頓變長的流程設計或屬性數量。
解決方案
- 依方案而定、最快 15 分鐘起的回應目標,由專屬資深工程師 24/7 處理,不經過 Tier 1 第一線分流
- 將 GC 日誌、心跳與 ZooKeeper 工作階段與斷線事件相互對照,找出真正的觸發原因
- 依 flowfile 屬性數量與並行 processor 數量,調整 heap 規格與垃圾回收器設定
- 調整叢集心跳間隔與 ZooKeeper 工作階段逾時,使其相較於實測停頓時間保有餘裕
- 檢視在記憶體中持有大型屬性的 processor,將酬載資料移入內容(content)而非屬性
- 針對叢集重新啟動失敗後流程定義不一致的情況,建立流程同步與節點重新加入程序
成效
在過去會觸發斷線的負載水準下,節點不再斷線,叢集也能撐過資料匯入尖峰,不再陷入重新加入的循環。若成因是屬性數量過多,記憶體壓力下降的幅度甚至足以調降 heap,而不是調高。