概覽
對於需要事件時間語意與 exactly-once 保證的有狀態串流處理,Flink 是正確答案;但對於一個更簡單的消費者就能處理的無狀態轉換,Flink 則是昂貴的答案。AceMQ 會對照 Flink 在維運上的實際需求評估工作負載,並提出附有規模規劃的建議。
挑戰
串流專案往往只依吞吐量數字界定範圍,卻略過了真正推高成本的需求:是否真的需要端對端 exactly-once,以及 sink 能否支援;在正式環境的基數下,處理邏輯意味著多少 keyed state;上游系統實際上會產生多少事件時間延遲;以及團隊是否有能力維運 checkpoint、savepoint 與重新調整規模。這些決策決定了平台能否長期維持。
環境
在 Kubernetes 上全新建置或擴充中的串流平台,以 Kafka 或 Redpanda 為來源,並同時寫入分析型與營運型 sink。
做法
AceMQ 從實際的處理需求出發——語意、狀態基數、延遲容忍度與投遞保證——而不是只看吞吐量。在 Flink 適合的情況下,我們會規劃叢集與狀態層的規模,並定義維運模式;在不適合的情況下,我們會直說,並指出能勝任的更簡單元件。
解決方案
- 對工作負載進行分類,把有狀態的事件時間處理,與不需要 Flink 的無狀態轉換區分開來
- 在正式環境的鍵值數量下建立狀態基數模型,並估算由此產生的記憶體與磁碟用量
- 審查投遞語意,涵蓋來源重播、sink 冪等性,以及 exactly-once 所需的交易式 sink 支援是否存在
- 以真實的上游資料量測事件時間延遲,據以設定 watermark 與時間窗參數
- 規劃叢集規模,涵蓋 task manager 數量、slot、網路緩衝區與 checkpoint 儲存吞吐量
- 定義維運模式,涵蓋部署模式、savepoint 政策、升級流程,以及團隊維運所需的告警
成效
客戶針對每一個工作負載,都能得到一個站得住腳的「建置或避免」決策,而規模規劃也反映了真實的狀態與語意需求。通常會有數個工作負載改用更簡單的消費者,從而縮小團隊需要投入人力維運的範圍。