概覽
一家主機代管業者以約 2,000 台伺服器服務 60,000 名客戶,隨著需求成長,已將 Kafka 部署從一個節點擴充到五個節點,卻仍頻繁出現 producer 逾時。直覺上的做法,也就是增加容量,早已試過了。
挑戰
這個叢集在五個節點上採用四份複本(replication factor 為四),而且 broker 與 controller 部署在同一節點上。這使得 controller leader 除了複寫工作之外,還承擔了數量異常龐大的活躍連線;造成逾時的正是這種連線集中,而不是原始吞吐量。隨之而來的重新選舉與主題移轉,看起來像是叢集不穩定,而沒有被視為同一個原因造成的症狀。
環境
以 Docker 部署於實體伺服器上的五節點 Kafka 叢集,支撐大規模的共享主機代管環境。
做法
AceMQ 依照工作負載的實際需求,檢視複寫與拓撲上的選擇,而不是繞著症狀做調校。各項建議依序推行,每一項都先以叢集穩定性指標驗證後,才套用下一項。
解決方案
- 將 replication factor 從四降為三,在滿足耐久性需求的同時,避免每個分割區都過度複寫
- 將 broker 與 controller 角色分離,讓 controller 的工作不再與服務流量爭搶資源
- 在變更期間維持至少三個 broker 節點,以確保可用性保證
- 調校執行緒設定,提升在大量連線負載下的回應速度
- 將重新選舉頻率與主題移轉訂為驗證每個步驟時的觀察指標
成效
Producer 逾時問題從根源獲得解決,而不是靠增加容量加以掩蓋;團隊也取得了一組明確的指標,能及早偵測問題是否再次發生。