返回所有使用案例

技術支援金融服務

平台規模擴大了,吞吐量卻反而下降

銀行交易平台

導入 Kafka 後,吞吐量從每小時 320,000 筆交易跌到約 45,000 筆。而這個平台必須達到 80,000 筆,才能證明它具備擴展能力。

概覽

一個服務銀行客戶的交易處理平台在啟用 Kafka 後,眼看吞吐量下降了大約七倍。增加服務執行個體毫無幫助:無論執行多少個,效能都持平不動,這正是瓶頸而非容量上限的典型特徵。由於驗證期限在即,平台必須在一週內證明能達到每小時 80,000 筆交易。

挑戰

平行度增加、效能卻持平,顯示問題出在設定而非硬體。這套部署執行的是採用 KRaft 的 Kafka 4.0,雖然擺脫了 ZooKeeper 依賴,但相較於多數團隊熟悉的調校指引,可調整的面向也隨之改變。由於這是金融工作負載,任何變更都必須確保容錯移轉復原能力不受影響。

環境

以 KRaft 模式執行的 Kafka 4.0,作為服務銀行客戶之交易處理平台的基礎,並以 JMeter 進行負載驗證。

做法

工作重點在於找出為何增加執行個體卻毫無效益,接著以可重複執行的 JMeter 負載輪廓驗證每一項變更,讓改善成果是量測出來的,而不是假設出來的。容錯移轉行為被視為調校的限制條件,而不是事後才考慮的項目。

解決方案

  1. 在 JMeter 中建立可重複執行的負載輪廓,讓每一項設定變更都能以相同基準量測
  2. 調查為何增加服務執行個體後吞吐量仍維持不變,找出序列化的瓶頸點
  3. 針對交易模式、而非一般用途的吞吐量,調校 producer 與 broker 設定
  4. 在負載下驗證容錯移轉復原,確保不會為了速度而犧牲韌性
  5. 對照以 ZooKeeper 時代部署為對象撰寫的指引,檢視 KRaft 特有的設定

成效

平台取得一條經過量測、可逐步回到吞吐量目標的路徑,容錯移轉復原能力也完整保留,並擁有一套可在日後變更時重複執行的負載測試輪廓。

技術

Apache KafkaKRaftJMeter

需要專業的 Apache Kafka 技術支援嗎?

AceMQ 的資深 Apache Kafka 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。