返回所有使用案例

技術支援軟體/數位平台

增加節點並沒有解決問題

歐洲主機代管業者

一個服務 60,000 名客戶的五節點 Kafka 叢集,在負載下頻繁出現 producer 逾時。原因出在拓撲,而不是容量。

概覽

一家主機代管業者以約 2,000 台伺服器服務 60,000 名客戶,隨著需求成長,已將 Kafka 部署從一個節點擴充到五個節點,卻仍頻繁出現 producer 逾時。直覺上的做法,也就是增加容量,早已試過了。

挑戰

這個叢集在五個節點上採用四份複本(replication factor 為四),而且 broker 與 controller 部署在同一節點上。這使得 controller leader 除了複寫工作之外,還承擔了數量異常龐大的活躍連線;造成逾時的正是這種連線集中,而不是原始吞吐量。隨之而來的重新選舉與主題移轉,看起來像是叢集不穩定,而沒有被視為同一個原因造成的症狀。

環境

以 Docker 部署於實體伺服器上的五節點 Kafka 叢集,支撐大規模的共享主機代管環境。

做法

AceMQ 依照工作負載的實際需求,檢視複寫與拓撲上的選擇,而不是繞著症狀做調校。各項建議依序推行,每一項都先以叢集穩定性指標驗證後,才套用下一項。

解決方案

  1. 將 replication factor 從四降為三,在滿足耐久性需求的同時,避免每個分割區都過度複寫
  2. 將 broker 與 controller 角色分離,讓 controller 的工作不再與服務流量爭搶資源
  3. 在變更期間維持至少三個 broker 節點,以確保可用性保證
  4. 調校執行緒設定,提升在大量連線負載下的回應速度
  5. 將重新選舉頻率與主題移轉訂為驗證每個步驟時的觀察指標

成效

Producer 逾時問題從根源獲得解決,而不是靠增加容量加以掩蓋;團隊也取得了一組明確的指標,能及早偵測問題是否再次發生。

技術

Apache KafkaDockerLinux

需要專業的 Apache Kafka 技術支援嗎?

AceMQ 的資深 Apache Kafka 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。