概覽
一個服務銀行客戶的交易處理平台在啟用 Kafka 後,眼看吞吐量下降了大約七倍。增加服務執行個體毫無幫助:無論執行多少個,效能都持平不動,這正是瓶頸而非容量上限的典型特徵。由於驗證期限在即,平台必須在一週內證明能達到每小時 80,000 筆交易。
挑戰
平行度增加、效能卻持平,顯示問題出在設定而非硬體。這套部署執行的是採用 KRaft 的 Kafka 4.0,雖然擺脫了 ZooKeeper 依賴,但相較於多數團隊熟悉的調校指引,可調整的面向也隨之改變。由於這是金融工作負載,任何變更都必須確保容錯移轉復原能力不受影響。
環境
以 KRaft 模式執行的 Kafka 4.0,作為服務銀行客戶之交易處理平台的基礎,並以 JMeter 進行負載驗證。
做法
工作重點在於找出為何增加執行個體卻毫無效益,接著以可重複執行的 JMeter 負載輪廓驗證每一項變更,讓改善成果是量測出來的,而不是假設出來的。容錯移轉行為被視為調校的限制條件,而不是事後才考慮的項目。
解決方案
- 在 JMeter 中建立可重複執行的負載輪廓,讓每一項設定變更都能以相同基準量測
- 調查為何增加服務執行個體後吞吐量仍維持不變,找出序列化的瓶頸點
- 針對交易模式、而非一般用途的吞吐量,調校 producer 與 broker 設定
- 在負載下驗證容錯移轉復原,確保不會為了速度而犧牲韌性
- 對照以 ZooKeeper 時代部署為對象撰寫的指引,檢視 KRaft 特有的設定
成效
平台取得一條經過量測、可逐步回到吞吐量目標的路徑,容錯移轉復原能力也完整保留,並擁有一套可在日後變更時重複執行的負載測試輪廓。