本頁內容
org.apache.kafka.common.errors.TimeoutException: Expiring N record(s) 是 Kafka 正式環境中最常見的錯誤之一,也是最常被誤診的錯誤之一。團隊經常一出手就調整 producer 端設定(調高 request.timeout.ms、增加 retries),但真正的原因其實在 broker 端,具體來說在於叢集的 controller 與 broker 角色如何分配。
本文帶您走過一個真實的診斷案例:一個五節點的實體 Kafka 叢集頻繁發生 producer 逾時、找出的根本原因,以及實際套用的修正方式。
Kafka producer 逾時最常見的真正原因是什麼?
同一批節點上 controller 與 broker 角色的資源爭用。
在 KRaft 模式的叢集(Kafka 擺脫 ZooKeeper 之後的架構)中,每個節點都可以設定為 broker+controller combined 角色,也可以把這兩種角色分開到專屬節點上。當所有節點都同時擔任兩種角色時(這在規模較小或自然擴張的叢集中很常見),controller 與 broker 處理程序就會在每一個節點上、無時無刻地爭奪相同的 CPU 與記憶體。
在一個真實案例中,一個所有節點都設定為 broker+controller combined 角色的五節點 Kafka 叢集頻繁發生 producer 逾時,追查後發現,擔任 controller leader 的節點有過多的活動連線,造成了 broker 層級的資源爭用。AceMQ 的 Kafka 領域專家(SME)當場直接診斷:「現在因為您的 broker,就像您說的,controller 和 broker 放在同一台實體機器上,它們一直在搶記憶體、搶 CPU,造成日誌寫入的延遲,也讓它們必須處理的中繼資料出問題,因為它們在互相搶著更新對方。把它們拆開。」
如何判斷複寫係數是否也是問題的一部分?
請檢查您的複寫係數是否與叢集規模及實際的持久性需求相稱;過度複寫會帶來實質、可量測的負擔。
在同一個診斷案例中,這個叢集在 5 節點的實體叢集上使用了 4 的複寫係數。直接的評估是:「對一個 5 節點的實體叢集來說,複寫係數 4 太過頭了,因為那是很高的冗餘程度,但代價很大,特別是您的 topic 分布在這五個節點上。以您現在的資料量,我一定會把它降回三。」
為什麼複寫係數特別會影響 producer 逾時:每一則產生的訊息,都必須先由所需數量的同步複本確認(由您的 acks 與 min.insync.replicas 設定決定),producer 才會收到確認。複寫係數越高,就有越多複本需要寫入並確認,確認才會回來;而如果這些複本寫入又與同一批節點上 controller 角色的 CPU/記憶體爭用互相競爭,兩者疊加就會變成 producer 看得到的逾時。
經驗法則:複寫係數 3 是正式環境 Kafka 的標準持久性基準。提高到 4 或以上,應該是根據已證實的持久性需求所做的刻意決定,而不是預設值。
我應該把 Kafka controller 與 broker 分開嗎?
是的,如果您採用 combined 角色,並遇到 producer 端的延遲或逾時問題,這是效益最高的架構變更之一。
同一個診斷案例中的直接建議是:「既然現在是正式環境……或許再加一台 controller,把 controller 獨立出來,broker 那邊至少保留 3 個節點。」這並不需要重建整個叢集,而是新增專屬的 controller 節點,並將既有節點重新設定為僅擔任 broker,藉此降低叢集中每個節點上的 CPU/記憶體爭用。
實際的遷移路徑:
- 配置一個新節點(或改用既有節點)作為專屬 controller
- 將其餘節點重新設定為僅擔任 broker
- 為正式環境的持久性保留至少 3 個 broker 節點
- 在宣告遷移完成之前,驗證叢集健康狀態與重新選舉行為
還有哪些設定變更能減少 producer 逾時?
同一個真實修正案例中,還包含另外兩項調校手段:
調高 Kafka 的 I/O 執行緒設定。具體建議是將目前的執行緒設定(num.io.threads 或對等的網路/IO 執行緒設定)加倍,在不需要變更架構的情況下,直接解決負載下的吞吐量瓶頸。
監控 leader 重新選舉與分割區重新配置的變動。頻繁的 controller 重新選舉或非預期的 leader 轉移,會在叢集重組期間讓 producer 流量停滯。正如診斷時所說:「看看這兩個指標,它們能讓您清楚感受到不穩定的程度、它們的行為,以及是不是一直在重新選舉、一直在搬來搬去。因為它們一搬動,所有東西就會停下來,那些 topic 就會變慢。」將 leader 選舉速率與分割區重新配置頻率列為持續監控的指標(而不只是在事件發生時才看),就能為同樣的資源爭用模式再次出現提供早期預警。
這是否代表 producer 逾時永遠不會是 producer 設定的問題?
不是。producer 端的設定確實可能是根本原因,值得及早確認或排除:
request.timeout.ms相對於您實際的網路與 broker 回應特性設得過低max.in.flight.requests.per.connection搭配重試,造成訊息順序錯亂,進而疊加成表面上的逾時batch.size與linger.ms的設定不符合您的吞吐量模式,導致 producer 在送出前保留訊息的時間比預期更久- producer 端的緩衝記憶體(
buffer.memory)不足,引發BufferExhaustedException,卻被誤認為逾時
這裡重要的診斷紀律是:先檢查 broker 端健康狀態與 controller/broker 是否分離,因為在實際部署中,這才是更常見的根本原因,然後再花時間調校可能根本不是瓶頸所在的 producer 用戶端設定。
那 SSL/TLS 變更呢?有可能是造成逾時的原因嗎?
如果您正在升級途中或最近變更了 TLS 設定,之後就開始出現逾時,請不要認定 TLS 與此無關;但如果您還有尚未解決的 controller/broker 資源爭用,也不要認定它就是主因。
在同一個案例中,客戶最近嘗試更換 SSL 憑證,結果失敗而必須回復,另外也回報了 producer 逾時。當時給出的建議對處理順序講得很明確:先處理複寫係數與 controller/broker 分離,「現在先別管 SSL……先把複寫降到三、增加 broker 並把它們拆開,然後看看表現如何……在升到 Kafka 4 之前,我不會去碰 TLS/SSL 的事。」請先穩定叢集的核心架構,再於本已吃緊的叢集上疊加憑證輪替之類的其他變更。
這是我應該自己修正的問題,還是需要專家審查?
這裡的診斷模式,包括複寫係數、controller/broker 拓撲、執行緒設定與重新選舉頻率,對於具備扎實 Kafka 維運經驗的團隊來說都可以自行處理。但這個案例之所以升級到專家審查,原因很常見:若沒有橫跨多種 Kafka 拓撲的叢集層級診斷經驗,症狀(producer 逾時)並不會明顯指向成因(controller/broker 資源爭用)。
如果您看到 producer 逾時,而且已經排除明顯的網路問題,找出根本原因最快的途徑,通常是對叢集的角色拓撲、複寫設定與重新選舉指標進行結構化審查,而不是一次調一個參數、逐步微調 producer 用戶端設定。
取得 Kafka producer 逾時問題的協助
正式環境中遇到 Kafka producer 逾時嗎?聯絡 AceMQ,安排一次叢集架構審查,我們會找出問題究竟是 controller 資源爭用、複寫負擔,還是其他完全不同的原因。不確定該從哪裡開始?與 AceMQ 工程師洽談。
這是 Kafka 維運指南十個步驟中的第五步;該指南依照各項維運決策在正式環境中出現的順序逐一說明。
常見問題
Kafka producer 逾時最常見的真正原因是什麼?
同一批實體節點上 controller 與 broker 角色的資源爭用。在採用 broker+controller combined 角色的 KRaft 模式叢集中,controller leader 節點可能累積過多連線,並與 broker 處理程序爭奪 CPU 與記憶體,由此產生的延遲會以 producer 端逾時的形式出現,而不是明顯的 broker 錯誤。
如何判斷複寫係數是否助長了 producer 逾時?
檢查複寫係數是否與叢集規模相稱:在 5 節點叢集上設定 4 的複寫係數屬於過度冗餘,會帶來實質的負擔。每一則產生的訊息,都必須先由所需數量的同步複本確認,producer 才會收到確認;因此較高的複寫係數加上 controller 資源爭用,就會疊加成逾時。複寫係數 3 是正式環境的標準基準。
我應該把 Kafka controller 與 broker 分開嗎?
是的,如果您採用 controller+broker combined 角色,並看到 producer 端的延遲或逾時,這是效益最高的修正之一。配置一個專屬的 controller 節點,將既有節點重新設定為僅擔任 broker,並為正式環境的持久性保留至少 3 個 broker 節點。
還有哪些設定變更有助於減少 Kafka producer 逾時?
將目前的 I/O 執行緒設定(num.io.threads 或對等設定)加倍,能直接解決吞吐量瓶頸。此外,請將 leader 重新選舉頻率與分割區重新配置的變動,列為持續監控的指標;頻繁的重新選舉,會在叢集每次重組時讓 producer 流量停滯。
Kafka producer 逾時有可能真的是 producer 設定的問題嗎?
有可能。request.timeout.ms 設得太低、max.in.flight.requests.per.connection 搭配重試、batch.size/linger.ms 設定不當,以及 buffer.memory 不足,都可能造成逾時或偽裝成逾時。請先檢查 broker 端健康狀態與 controller/broker 是否分離,因為在實際部署中,這才是更常見的根本原因。
最近的 SSL/TLS 變更,有可能是造成 Kafka producer 逾時的原因嗎?
有可能,但如果您還有尚未解決的 controller/broker 資源爭用或過度配置的複寫係數,就不要認定它是主因。請先穩定叢集的核心架構,也就是複寫係數與角色分離,再於本已吃緊的叢集上疊加 TLS/SSL 變更。
Kafka producer 逾時應該自己排查,還是請專家審查?
對具備扎實 Kafka 維運經驗的團隊而言,複寫係數、controller/broker 拓撲、執行緒設定與重新選舉頻率都是可以自行處理的範圍。專家審查之所以有幫助,是因為若沒有橫跨多種叢集拓撲的診斷經驗,症狀(producer 逾時)很少能明顯指向成因(controller 資源爭用)。