概覽
NiFi 將 flowfile 內容存放在磁碟上的內容儲存庫中,而沒有設定背壓門檻的連線會無限制地持續排隊。當下游處理器變慢或停止時,上游處理器仍持續產生資料,儲存庫不斷成長直到磁碟區塞滿;到了那個時候,節點連 provenance 也無法寫入,實際上等於停止運作。AceMQ 會復原節點,並設定原本就應該存在的上限。
挑戰
故障的發生順序總是一致:目的地系統無法使用或變慢,其處理器不再消化傳入的佇列,上游處理器持續產生資料,而由於預設門檻從未調整,連線佇列便無限制地成長。磁碟被塞滿,provenance 儲存庫無法再寫入,節點便完全停止處理。復原工作相當棘手,因為手動刪除儲存庫檔案會破壞 flowfile 狀態,而封存的內容又讓情況更加複雜。
環境
部署於地端或雲端虛擬機器上的 Apache NiFi 叢集,flowfile、content 與 provenance 儲存庫各自分開,從現場與企業系統擷取資料。
做法
AceMQ 以安全的方式回收磁碟空間:透過內容封存到期與受控的佇列消化,而不是手動刪除檔案,接著再恢復節點與資料流。真正長久有效的工作,是為每條連線設定背壓的物件數量與資料大小門檻,在適當之處加入負載平衡與優先順序,並將各儲存庫分置於各自的磁碟區,避免其中一個塞滿時連帶拖垮其他儲存庫。
解決方案
- 透過內容封存到期與受控的佇列消化安全回收磁碟空間,不需手動刪除儲存庫檔案
- 依下游吞吐量,為每條連線設定背壓的物件數量與資料大小門檻
- 依可用磁碟區調校內容儲存庫的封存設定、保留期間與使用率百分比
- 將各儲存庫分置於專用磁碟區,讓內容成長不會阻斷 provenance 與 flowfile 的寫入
- 為受影響的處理器設計失敗路徑,將資料導向重試或暫存流程,而不是無限制地排隊
- 設定磁碟用量、佇列深度與背壓告警,在磁碟區塞滿之前就及早發出警示
成效
受影響的節點在沒有遺失任何 flowfile 的情況下恢復運作;有了連線層級的背壓機制,下游中斷現在只會讓資料流變慢,而不會塞滿磁碟。告警機制也能在仍有處理餘地時就發現問題。