本頁內容
Kafka 4.0 代表了這個專案有史以來最重大的架構轉變:Kafka 自最早期版本起就仰賴的外部協調服務 ZooKeeper 已經走入歷史。叢集中繼資料與 controller 共識,現在改由 Kafka 自家以 Raft 為基礎的共識協定 KRaft(Kafka Raft)在內部處理。這是營運模式上實實在在的簡化,少了一套需要執行與調校的分散式系統;但「剛發布的重大架構」與「已針對您特定工作負載經過實戰考驗」是兩回事。
本文根據一個在 Kafka 4.0.0 上遇到重大效能問題的真實正式環境案例,說明營運上實際改變了什麼。
KRaft 模式本身穩定嗎?還是仍被視為早期/beta 技術?
KRaft 模式是 Kafka 4.0 的標準正式環境架構,到了這個階段已不再是 beta 或預覽功能。許多組織正積極將它部署到正式環境,包括高要求的使用情境:有一個組織在銀行業交易處理平台上採用 Kafka 4.0.0,明確正是因為它移除了對 ZooKeeper 的依賴,將這項架構簡化視為刻意且具前瞻性的技術選擇,而非需要迴避的風險。
話雖如此,「架構已達正式環境等級」與「每一項功能的行為都與以 ZooKeeper 為基礎的模式完全相同」是兩回事,而本文通篇引用的真實案例,正好直接說明了這兩者之間的落差。
本文引用的真實 Kafka 4.0 案例,究竟出了什麼問題?
一個與 Kafka 交易相關、具體且嚴重的效能退化。一個在 Kafka 4.0.0 上執行交易處理平台的組織,使用 Spring Boot 3.2 與 Java 17,先前以標準 Kafka 訊息傳遞量測到的吞吐量約為每小時 320,000 筆交易。在系統中加入以 Kafka 交易式訊息功能實作的復原能力之後,吞吐量降到每小時 40,000-50,000 筆交易,而且關鍵在於,增加服務執行個體的數量並沒有改善吞吐量。無論如何水平擴展,系統都卡在同一個吞吐量上限,這強烈顯示瓶頸是結構性的(很可能與協調器有關),而不是單純的資源爭用。
當團隊測試在不使用 Kafka 交易的情況下執行相同工作負載時,效能就恢復正常,由此可將退化範圍明確鎖定在交易式訊息路徑上,而不是 KRaft 模式、broker 設定,或更廣泛的應用程式碼。
這是否代表 KRaft 模式下的 Kafka 交易有問題?
不一定是有問題,但這確實代表在將交易用於對效能敏感的工作負載之前,值得進行更深入的驗證,因為 KRaft 下交易協調器的行為,在架構上與以 ZooKeeper 為基礎的叢集不同,而這種差異在某些使用模式下,正可能以這種吞吐量上限的形式出現。
從這個案例中我們知道:
- 吞吐量上限可以重現且穩定一致(並非間歇性)
- 它對水平擴展毫無反應,排除了單純資源不足的可能
- 從相同工作負載中移除交易,就能恢復正常吞吐量
從診斷的角度來看,這指向:交易協調器的行為,也就是交易狀態如何在叢集中被追蹤、提交與協調,是瓶頸的有力候選,因為它正是與觀察到的「開啟或關閉交易」行為差異最直接相關的元件。針對這類問題的結構化診斷,會優先調查交易協調器的配置位置、交易逾時設定,以及 transactional.id 的基數與分割方式。
我應該在 4.0 上完全避免使用 Kafka 交易嗎?
不一定,但在將它用於正式環境中關鍵且對延遲敏感的工作負載之前,請先在接近真實的負載下驗證您特定的交易使用模式,而不是假設 4.0 之前文件中的一般 Kafka 交易指引可以原封不動地沿用。
如果您的使用情境需要 Kafka 交易(跨越 produce/consume 邊界的 exactly-once 語意,或跨多個分割區的原子寫入):
- 專門針對交易路徑進行負載測試,並與非交易模式的吞吐量基準分開進行,使用具代表性的交易速率與
transactional.id模式 - 測試在您的環境中,水平擴展 producer/consumer 執行個體是否真的能提升交易吞吐量;如果不能,這就與上述案例中觀察到的警訊相同,值得在上線前深入調查
- 查閱目前 Kafka 4.x 的版本說明與已知問題,特別是關於 KRaft 交易協調器行為的部分,因為在移除 ZooKeeper 之後,這是程式碼庫中仍在積極演進的領域
如果您的使用情境並非絕對需要交易,請評估您的復原/冪等性需求能否透過其他模式滿足,例如單獨使用冪等 producer 設定(不採用完整交易)、應用程式層級的去重複,或是不同的復原架構,這些做法可能完全避開本文觀察到的特定瓶頸。
什麼樣的負載測試方法,才能真正驗證 Kafka 4.0 是否適合我的工作負載?
本文通篇引用的真實案例使用 JMeter,以特定的每秒/每分鐘交易速率產生可控且穩定的負載。這是刻意的選擇,因為它能清楚、可控地呈現系統如何回應逐步增加的負載,而不是仰賴難以隔離與重現、不利於診斷的正式環境流量模式。
一套健全的驗證方法:
- 先建立非交易模式的吞吐量基準,取得乾淨的比較點
- 加入交易,並在相同的負載輪廓下量測吞吐量差異
- 明確測試水平擴展:增加 producer/consumer 執行個體,確認吞吐量確實提升;如果停滯不前,就是在進一步推進之前,應調查協調器層級瓶頸的訊號
- 使用能維持穩定且已知交易速率的負載產生工具(JMeter,或用於 producer 端驗證的 Kafka 內建
kafka-producer-perf-test.sh),而不是只依賴試營運期間的自然流量
仍在使用舊版 ZooKeeper 叢集的組織,實際上應該以哪個 Kafka 版本為目標?
如果您目前使用的是 KRaft 之前的版本並正在規劃升級路徑,Kafka 4.0 及更新版本在設計上就不再使用 ZooKeeper;自 Kafka 4.0 起,ZooKeeper 支援已被移除,而不只是被棄用。這代表您的升級規劃必須把 KRaft 遷移納入路徑之中,而不是當成可有可無的後續步驟。
對於不大量使用 Kafka 交易的工作負載,這項遷移的風險通常低於本文描述的案例,因為這裡找出的特定瓶頸僅限於交易吞吐量,而非一般的 KRaft 叢集運作。對於大量使用交易的工作負載,請依照上述驗證方法,在遷移計畫中明確為交易路徑預留負載測試時間,而不是假設 KRaft 之前的交易效能特性可以原封不動地延續。
關於 Kafka 4.0 是否能上正式環境,實際的結論是什麼?
核心的 KRaft 架構已可用於正式環境,並正積極被採用於高要求的工作負載,包括金融交易處理。根據在正式環境測試中觀察到的一個真實且可重現的吞吐量退化,Kafka 交易在用於對效能敏感的正式環境工作負載之前,值得進行專門的負載驗證。這並不是避開 Kafka 4.0 的理由,而是提醒您應刻意測試自己的特定使用模式,而不是假設每一項功能(包括交易)的行為都與 KRaft 之前的 Kafka 版本完全一致。
獨立 controller 還是 combined 模式:上游建議什麼、我們部署什麼
KRaft 叢集將中繼資料保存在由 controller 節點組成的 Raft 仲裁中,而不是 ZooKeeper。仲裁會選出一個 active controller,由它掌管中繼資料日誌:topic 與分割區定義、複本配置、leader 選舉、設定與 ACL。每個 broker 都會追隨這份日誌並在本機套用。每個節點透過 process.roles 宣告自己的角色。process.roles=controller 的節點只負責投票並提供中繼資料。process.roles=broker 的節點只處理用戶端流量與分割區資料。process.roles=broker,controller 的節點則在同一個 JVM 上同時擔任兩者,也就是上游所稱的 combined 模式。
上游文件對於哪一種適合正式環境說得很清楚。將獨立 controller 部署在各自的伺服器上,是正式環境工作負載的建議配置。combined 模式則被描述為適用於開發、測試,以及不在意資源隔離的小型叢集。它受支援且能正常運作,但並不是上游針對關鍵部署所建議的配置,而我們的經驗也與此相符。
原因在於故障耦合。在 combined 模式下,承受 I/O 或垃圾回收壓力的 broker 同時也是 controller,因此一個出問題的 broker 不只會失去其分割區的 leader 身分,還可能讓整個叢集的仲裁投票與中繼資料提交停滯。中繼資料日誌每次提交都必須執行 fsync,而在 combined 模式下,這個 fsync 會與分割區日誌的寫入競爭同一組磁碟與同一個 page cache,因此一波 producer 突發流量,可能拖慢負責協調從該突發流量中復原的元件。滾動重新啟動 broker 也等於重新啟動 controller,因此每一次例行的 broker 升級或設定變更,都會觸發一次 controller 選舉。在只有少數幾個 broker、流量很輕的情況下,這些都不太重要;但在擁有數千個分割區且磁碟高負載的情況下,一般的 broker 事件就會演變成全叢集的中繼資料事件。將角色隔離,才能讓 broker 的問題只停留在 broker。
獨立 controller 的規格很容易決定,因為它們只保存中繼資料,而不保存分割區資料。三個 controller 適合大多數叢集,可容忍失去一個。對於超大型環境或多可用區域部署,如果您希望在另一個節點進行維護的同時,還能撐過一整個可用區域的中斷,就值得配置五個,代價是仲裁速度略慢。小型機器就足夠了:幾個核心、幾 GB heap,以及一顆容量不大但低延遲、用於中繼資料日誌的磁碟。每個可用區域放置一個 controller,讓單一可用區域故障不會連帶拖垮仲裁。在 Kubernetes 上,這代表要有一個與 broker 集區分開的專屬 controller 節點集區,我們在 Kubernetes 上的 Kafka 中有詳細說明。仲裁的配置位置,也是任何嚴謹的 Kafka 災難復原設計的一環,因為失去 controller 仲裁的叢集,即使每個 broker 都健康,也無法選出分割區 leader。
遷移既有的 ZooKeeper 叢集有固定的順序。先以 zookeeper.metadata.migration.enable=true 與 ZooKeeper 連線字串啟動新的 controller 仲裁,讓 controller 能讀取既有的中繼資料。接著逐一重新啟動 broker,並設定遷移旗標與 controller 仲裁投票者,讓叢集進入雙寫模式,中繼資料會同時寫入 ZooKeeper 與 KRaft 日誌。待每個 broker 都完成滾動重啟且中繼資料驗證無誤後,從 controller 中移除遷移旗標與 ZooKeeper 設定並重新啟動它們,完成最終定案。在此之前,您都可以回復到 ZooKeeper;定案之後就無法回頭了。Kafka 4.0 已完全移除 ZooKeeper 模式,因此整套程序必須在 3.9 這個過渡版本上執行:先升級到 3.9、完成遷移並定案,之後才能升級到 4.x。
我們對關鍵工作負載的原則很簡單:獨立 controller、三個節點、每個可用區域一個,並放在與其他用途分開的磁碟上。只有在叢集的 broker 少於寥寥數個、且原因有書面記錄時,才使用 combined 模式。當我們接手一個大規模執行 combined 模式的叢集時,拆分角色通常是我們的第一項變更,優先於分割區策略或容量規劃。如果您希望我們針對您的環境進行這項審查,我們的 Kafka 顧問服務團隊可以為您界定範圍,之後再由 Kafka 技術支援以 24/7 涵蓋與 依方案而定、最快 15 分鐘起的回應目標照顧您的叢集。
取得 Kafka 4.0 遷移協助
正在遷移到 Kafka 4.0,或是在以 KRaft 為基礎的叢集中,遇到 Kafka 交易造成無法解釋的吞吐量上限嗎?聯絡 AceMQ,安排一次診斷服務。不確定該從哪裡開始?與 AceMQ 工程師洽談。
這是 Kafka 維運指南十個步驟中的第一步;該指南依照各項維運決策在正式環境中出現的順序逐一說明。
常見問題
Kafka 官方是否建議在正式環境使用獨立的 KRaft controller?
是的。上游 Kafka 文件建議正式環境的工作負載將 controller 執行在專屬伺服器上,並將 combined 模式(同一個節點同時擔任 broker 與 controller)描述為適用於開發、測試,以及不在意資源隔離的小型叢集。combined 模式受支援且能正常運作,但這樣一來,承受 I/O 或 GC 壓力的 broker 同時也是 controller,重新啟動 broker 也等於重新啟動 controller。對於任何關鍵工作負載,我們都會在專屬節點與磁碟上部署獨立的 controller,並將 combined 模式視為僅適用於極小型叢集、且需書面記錄的例外。
正式環境的叢集應該配置幾個 KRaft controller?
大多數叢集配置三個,超大型或多可用區域的環境則配置五個。三節點的仲裁可容忍失去一個 controller,五節點可容忍失去兩個;當您希望在另一個 controller 停機維護的同時,仍能撐過一整個可用區域的中斷時,這點就很重要。controller 只保存中繼資料,因此只需幾個核心、幾 GB heap 與一顆低延遲磁碟的小型節點就已足夠。每個可用區域放置一個 controller,將中繼資料日誌放在獨立的磁碟上,並在 Kubernetes 上以專屬節點集區執行。不要配置偶數個,也不要把 controller 算進 broker 容量。
Kafka 4.0 的 KRaft 模式穩定到足以用於正式環境嗎?
是的。KRaft 是 Kafka 4.0 的標準正式環境架構,而不是 beta 功能。許多組織正積極將它部署於高要求的工作負載,包括銀行業的交易處理,而原因正是它移除了對 ZooKeeper 的依賴。
本文討論的真實 Kafka 4.0 正式環境案例,究竟出了什麼問題?
一個執行於 Kafka 4.0.0 的交易處理平台,為了取得復原能力而加入 Kafka 交易式訊息後,吞吐量從每小時約 320,000 筆交易降到 40,000-50,000 筆。擴增服務執行個體並未改善吞吐量,而移除交易後效能便恢復正常,由此可將退化範圍鎖定在交易路徑上。
KRaft 模式下的 Kafka 交易有問題嗎?
不一定是有問題,但值得更深入的驗證,因為 KRaft 下交易協調器(transaction coordinator)的行為,在架構上與以 ZooKeeper 為基礎的叢集不同。觀察到的吞吐量上限可以重現、對水平擴展毫無反應,而且在移除交易後就消失,顯示交易協調器的行為很可能就是瓶頸所在。
我應該在 4.0 上完全避免使用 Kafka 交易嗎?
不一定,但在將它用於正式環境的關鍵工作負載之前,請先在接近真實的負載下驗證您特定的交易使用模式。如果交易並非絕對必要,可以考慮改用冪等 producer 設定或應用程式層級的去重複,這些替代方案可能完全避開這個瓶頸。
上線前,應該如何對 Kafka 4.0 進行負載測試?
先建立非交易模式的吞吐量基準,接著加入交易,並在相同的負載輪廓下量測差異。明確測試水平擴展:如果吞吐量停滯而非增加,就應調查協調器層級的瓶頸。JMeter 或 Kafka 本身的 kafka-producer-perf-test.sh 都很適合用來產生穩定、可控的負載。
如果我仍在使用以 ZooKeeper 為基礎的叢集,應該以哪個 Kafka 版本為目標?
Kafka 4.0 及更新版本在設計上就不再使用 ZooKeeper;自 4.0 起,ZooKeeper 支援已被移除,而不只是被棄用。因此升級規劃必須把 KRaft 遷移列為必要步驟,而非選擇性步驟。大量使用交易的工作負載,應在遷移計畫中明確為交易路徑預留負載測試時間。
關於 Kafka 4.0 是否能上正式環境,結論是什麼?
核心的 KRaft 架構已可用於正式環境,並正積極用於高要求的工作負載,包括金融交易處理。根據一個真實且可重現的吞吐量退化案例,Kafka 交易在用於對效能敏感的正式環境之前,值得進行專門的負載驗證。