概覽
持有數百 GB keyed state 的 Flink 作業,有著小型作業所沒有的維運限制:重新啟動需要相當長的時間、調整平行度需要重新分配 savepoint,而 key 選得不好,狀態就會集中在少數幾個 task manager 上。AceMQ 會設計狀態層,讓這些限制在作業成長時依然可控。
挑戰
大型狀態作業會在不知不覺中變得無法部署。一次 savepoint 要花很久,例行部署也因此需要維護時段,於是部署被累積起來一次執行,每一次的風險也就越來越高。Max parallelism 維持預設值,導致作業無法在不完整重建狀態的情況下擴展超過固定上限。由於 key 有傾斜,key group 分佈不均,兩個 task manager 負擔了大部分工作。本機磁碟是依初始狀態規劃的,而不是依目前的狀態。
環境
部署於 Kubernetes 上的 Apache Flink,使用 RocksDB state backend,擁有大型 keyed state,checkpoint 或 savepoint 存放於物件儲存。
做法
AceMQ 剖析每個 key group 與 task manager 的狀態大小與分佈,再依維運需求進行設計,包括重新啟動的時間預算、預期的平行度範圍與升級頻率。Max parallelism 與 key group 數量是依作業預期的生命週期而非目前規模設定,復原路徑也經過實際測試,而不是想當然耳。
解決方案
- 剖析每個 operator 與 task manager 的狀態大小與 key group 分佈,揭露分割傾斜
- 依作業預期的擴展範圍而非初始規模,設定 max parallelism 與 key group 數量
- RocksDB 設定,涵蓋 managed memory、block cache、write buffer、compaction 方式與 column family 配置
- 為 RocksDB 工作集與 checkpoint 暫存規劃本機儲存容量並選擇磁碟類別
- Savepoint、保留 checkpoint 與本機復原策略,並以實測的重新啟動時間預算為依據
- 經過演練驗證的重新擴展與升級 runbook,包括狀態 schema 演進路徑
成效
重新啟動與重新擴展的時間變得可預測且有上限,部署不再需要維護時段。狀態在各 task manager 之間平均分佈,消除了原本限制吞吐量的熱節點現象。