概覽
處於持續背壓下的 Flink 工作,無法讓 barrier 及時通過整條管線,因此檢查點會逾時失效。每次逾時,都代表下一次嘗試時要寫入更多狀態;最後工作會從一個舊的檢查點重新啟動,並重播足以保證下一次再度失敗的資料量。AceMQ 會打破這個循環,並處理其背後的狀態成長問題。
挑戰
表面上的症狀,是每週或每晚的檢查點失敗,進而惡化成重新啟動的迴圈。深入來看,有好幾個因素相互疊加:某個 operator 的 keyed state 持續成長,其 RocksDB 工作集已無法放進受管記憶體的預算中;對齊的 barrier 卡在緩慢的 sink 後方;而檢查點間隔與逾時設定,是在狀態只有現在幾分之一大小時決定的。單純調高逾時時間,只會讓失敗換個時間點發生,並不能消除問題。
環境
在 Kubernetes 或 YARN 上執行、使用 RocksDB 狀態後端的 Apache Flink,將檢查點寫入 S3 或 HDFS,並從 Kafka 消費資料。
做法
AceMQ 透過 Flink UI 與指標,將檢查點耗時拆解為同步、非同步與對齊三個階段,藉此判斷成本來自狀態大小、barrier 對齊,還是遠端檔案系統。背壓則會追蹤到造成問題的特定 operator 或 sink。接著針對該階段進行修復:對齊成本以非對齊檢查點(unaligned checkpoints)與增量檢查點處理,狀態成本以 RocksDB 記憶體與壓實調校處理,而對於原本就不該成長到那麼大的狀態,則套用狀態 TTL。
解決方案
- 將檢查點耗時拆解為同步、非同步與對齊階段,找出真正的限制所在
- 將背壓追蹤到阻礙 barrier 傳遞的特定 operator 或 sink
- 在緩慢 operator 後方的對齊成本佔主要部分時,啟用非對齊檢查點與 buffer debloating
- 採用增量檢查點,並依目前的狀態大小修正 RocksDB 受管記憶體、block cache 與 write buffer 的配置
- 為無限制累積的 keyed state 套用狀態 TTL 與清理政策
- 依實測耗時重新調校檢查點間隔、逾時與最短暫停時間,並調整重新啟動策略以停止重播迴圈
成效
反覆發生的檢查點失敗已消除,檢查點耗時回到穩定範圍,並相對於間隔保有充足餘裕。工作不再陷入重新啟動的迴圈,因為一次緩慢的檢查點,已不再注定下一次會失敗。