返回所有使用案例

問題修復金融服務/支付

打破「背壓導致檢查點失敗、檢查點失敗又讓背壓更嚴重」的惡性循環

全球支付處理商

在 RocksDB 狀態已成長到超出所設定檢查點間隔所能負荷的情況下,解決背壓造成的檢查點逾時問題。

概覽

處於持續背壓下的 Flink 工作,無法讓 barrier 及時通過整條管線,因此檢查點會逾時失效。每次逾時,都代表下一次嘗試時要寫入更多狀態;最後工作會從一個舊的檢查點重新啟動,並重播足以保證下一次再度失敗的資料量。AceMQ 會打破這個循環,並處理其背後的狀態成長問題。

挑戰

表面上的症狀,是每週或每晚的檢查點失敗,進而惡化成重新啟動的迴圈。深入來看,有好幾個因素相互疊加:某個 operator 的 keyed state 持續成長,其 RocksDB 工作集已無法放進受管記憶體的預算中;對齊的 barrier 卡在緩慢的 sink 後方;而檢查點間隔與逾時設定,是在狀態只有現在幾分之一大小時決定的。單純調高逾時時間,只會讓失敗換個時間點發生,並不能消除問題。

環境

在 Kubernetes 或 YARN 上執行、使用 RocksDB 狀態後端的 Apache Flink,將檢查點寫入 S3 或 HDFS,並從 Kafka 消費資料。

做法

AceMQ 透過 Flink UI 與指標,將檢查點耗時拆解為同步、非同步與對齊三個階段,藉此判斷成本來自狀態大小、barrier 對齊,還是遠端檔案系統。背壓則會追蹤到造成問題的特定 operator 或 sink。接著針對該階段進行修復:對齊成本以非對齊檢查點(unaligned checkpoints)與增量檢查點處理,狀態成本以 RocksDB 記憶體與壓實調校處理,而對於原本就不該成長到那麼大的狀態,則套用狀態 TTL。

解決方案

  1. 將檢查點耗時拆解為同步、非同步與對齊階段,找出真正的限制所在
  2. 將背壓追蹤到阻礙 barrier 傳遞的特定 operator 或 sink
  3. 在緩慢 operator 後方的對齊成本佔主要部分時,啟用非對齊檢查點與 buffer debloating
  4. 採用增量檢查點,並依目前的狀態大小修正 RocksDB 受管記憶體、block cache 與 write buffer 的配置
  5. 為無限制累積的 keyed state 套用狀態 TTL 與清理政策
  6. 依實測耗時重新調校檢查點間隔、逾時與最短暫停時間,並調整重新啟動策略以停止重播迴圈

成效

反覆發生的檢查點失敗已消除,檢查點耗時回到穩定範圍,並相對於間隔保有充足餘裕。工作不再陷入重新啟動的迴圈,因為一次緩慢的檢查點,已不再注定下一次會失敗。

技術

Apache FlinkApache KafkaRocksDBKubernetes

正面臨 Apache Flink 正式環境問題嗎?

AceMQ 的資深 Apache Flink 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。