Kafka

Kafka 4.0(KRaft、不再使用 ZooKeeper)能上正式環境嗎?

Scott Sternloff

作者:Scott Sternloff(資深企業架構師)

LinkedIn · 更新日期:

ZooKeeperexternalL23KRaft QuorumZooKeeper → KRaft Consensus
本頁內容

Kafka 4.0 代表了這個專案有史以來最重大的架構轉變:Kafka 自最早期版本起就仰賴的外部協調服務 ZooKeeper 已經走入歷史。叢集中繼資料與 controller 共識,現在改由 Kafka 自家以 Raft 為基礎的共識協定 KRaft(Kafka Raft)在內部處理。這是營運模式上實實在在的簡化,少了一套需要執行與調校的分散式系統;但「剛發布的重大架構」與「已針對您特定工作負載經過實戰考驗」是兩回事。

本文根據一個在 Kafka 4.0.0 上遇到重大效能問題的真實正式環境案例,說明營運上實際改變了什麼。

KRaft 模式本身穩定嗎?還是仍被視為早期/beta 技術?

KRaft 模式是 Kafka 4.0 的標準正式環境架構,到了這個階段已不再是 beta 或預覽功能。許多組織正積極將它部署到正式環境,包括高要求的使用情境:有一個組織在銀行業交易處理平台上採用 Kafka 4.0.0,明確正是因為它移除了對 ZooKeeper 的依賴,將這項架構簡化視為刻意且具前瞻性的技術選擇,而非需要迴避的風險。

話雖如此,「架構已達正式環境等級」與「每一項功能的行為都與以 ZooKeeper 為基礎的模式完全相同」是兩回事,而本文通篇引用的真實案例,正好直接說明了這兩者之間的落差。

本文引用的真實 Kafka 4.0 案例,究竟出了什麼問題?

一個與 Kafka 交易相關、具體且嚴重的效能退化。一個在 Kafka 4.0.0 上執行交易處理平台的組織,使用 Spring Boot 3.2 與 Java 17,先前以標準 Kafka 訊息傳遞量測到的吞吐量約為每小時 320,000 筆交易。在系統中加入以 Kafka 交易式訊息功能實作的復原能力之後,吞吐量降到每小時 40,000-50,000 筆交易,而且關鍵在於,增加服務執行個體的數量並沒有改善吞吐量。無論如何水平擴展,系統都卡在同一個吞吐量上限,這強烈顯示瓶頸是結構性的(很可能與協調器有關),而不是單純的資源爭用。

當團隊測試在不使用 Kafka 交易的情況下執行相同工作負載時,效能就恢復正常,由此可將退化範圍明確鎖定在交易式訊息路徑上,而不是 KRaft 模式、broker 設定,或更廣泛的應用程式碼。

這是否代表 KRaft 模式下的 Kafka 交易有問題?

不一定是有問題,但這確實代表在將交易用於對效能敏感的工作負載之前,值得進行更深入的驗證,因為 KRaft 下交易協調器的行為,在架構上與以 ZooKeeper 為基礎的叢集不同,而這種差異在某些使用模式下,正可能以這種吞吐量上限的形式出現。

從這個案例中我們知道:

  • 吞吐量上限可以重現且穩定一致(並非間歇性)
  • 它對水平擴展毫無反應,排除了單純資源不足的可能
  • 從相同工作負載中移除交易,就能恢復正常吞吐量

從診斷的角度來看,這指向:交易協調器的行為,也就是交易狀態如何在叢集中被追蹤、提交與協調,是瓶頸的有力候選,因為它正是與觀察到的「開啟或關閉交易」行為差異最直接相關的元件。針對這類問題的結構化診斷,會優先調查交易協調器的配置位置、交易逾時設定,以及 transactional.id 的基數與分割方式。

我應該在 4.0 上完全避免使用 Kafka 交易嗎?

不一定,但在將它用於正式環境中關鍵且對延遲敏感的工作負載之前,請先在接近真實的負載下驗證您特定的交易使用模式,而不是假設 4.0 之前文件中的一般 Kafka 交易指引可以原封不動地沿用。

如果您的使用情境需要 Kafka 交易(跨越 produce/consume 邊界的 exactly-once 語意,或跨多個分割區的原子寫入):

  • 專門針對交易路徑進行負載測試,並與非交易模式的吞吐量基準分開進行,使用具代表性的交易速率與 transactional.id 模式
  • 測試在您的環境中,水平擴展 producer/consumer 執行個體是否真的能提升交易吞吐量;如果不能,這就與上述案例中觀察到的警訊相同,值得在上線前深入調查
  • 查閱目前 Kafka 4.x 的版本說明與已知問題,特別是關於 KRaft 交易協調器行為的部分,因為在移除 ZooKeeper 之後,這是程式碼庫中仍在積極演進的領域

如果您的使用情境並非絕對需要交易,請評估您的復原/冪等性需求能否透過其他模式滿足,例如單獨使用冪等 producer 設定(不採用完整交易)、應用程式層級的去重複,或是不同的復原架構,這些做法可能完全避開本文觀察到的特定瓶頸。

什麼樣的負載測試方法,才能真正驗證 Kafka 4.0 是否適合我的工作負載?

本文通篇引用的真實案例使用 JMeter,以特定的每秒/每分鐘交易速率產生可控且穩定的負載。這是刻意的選擇,因為它能清楚、可控地呈現系統如何回應逐步增加的負載,而不是仰賴難以隔離與重現、不利於診斷的正式環境流量模式。

一套健全的驗證方法:

  1. 先建立非交易模式的吞吐量基準,取得乾淨的比較點
  2. 加入交易,並在相同的負載輪廓下量測吞吐量差異
  3. 明確測試水平擴展:增加 producer/consumer 執行個體,確認吞吐量確實提升;如果停滯不前,就是在進一步推進之前,應調查協調器層級瓶頸的訊號
  4. 使用能維持穩定且已知交易速率的負載產生工具(JMeter,或用於 producer 端驗證的 Kafka 內建 kafka-producer-perf-test.sh),而不是只依賴試營運期間的自然流量

依方案而定、最快 15 分鐘起的回應目標。專屬資深工程師。

聯絡我們

仍在使用舊版 ZooKeeper 叢集的組織,實際上應該以哪個 Kafka 版本為目標?

如果您目前使用的是 KRaft 之前的版本並正在規劃升級路徑,Kafka 4.0 及更新版本在設計上就不再使用 ZooKeeper;自 Kafka 4.0 起,ZooKeeper 支援已被移除,而不只是被棄用。這代表您的升級規劃必須把 KRaft 遷移納入路徑之中,而不是當成可有可無的後續步驟。

對於不大量使用 Kafka 交易的工作負載,這項遷移的風險通常低於本文描述的案例,因為這裡找出的特定瓶頸僅限於交易吞吐量,而非一般的 KRaft 叢集運作。對於大量使用交易的工作負載,請依照上述驗證方法,在遷移計畫中明確為交易路徑預留負載測試時間,而不是假設 KRaft 之前的交易效能特性可以原封不動地延續。

關於 Kafka 4.0 是否能上正式環境,實際的結論是什麼?

核心的 KRaft 架構已可用於正式環境,並正積極被採用於高要求的工作負載,包括金融交易處理。根據在正式環境測試中觀察到的一個真實且可重現的吞吐量退化,Kafka 交易在用於對效能敏感的正式環境工作負載之前,值得進行專門的負載驗證。這並不是避開 Kafka 4.0 的理由,而是提醒您應刻意測試自己的特定使用模式,而不是假設每一項功能(包括交易)的行為都與 KRaft 之前的 Kafka 版本完全一致。

獨立 controller 還是 combined 模式:上游建議什麼、我們部署什麼

KRaft 叢集將中繼資料保存在由 controller 節點組成的 Raft 仲裁中,而不是 ZooKeeper。仲裁會選出一個 active controller,由它掌管中繼資料日誌:topic 與分割區定義、複本配置、leader 選舉、設定與 ACL。每個 broker 都會追隨這份日誌並在本機套用。每個節點透過 process.roles 宣告自己的角色。process.roles=controller 的節點只負責投票並提供中繼資料。process.roles=broker 的節點只處理用戶端流量與分割區資料。process.roles=broker,controller 的節點則在同一個 JVM 上同時擔任兩者,也就是上游所稱的 combined 模式。

上游文件對於哪一種適合正式環境說得很清楚。將獨立 controller 部署在各自的伺服器上,是正式環境工作負載的建議配置。combined 模式則被描述為適用於開發、測試,以及不在意資源隔離的小型叢集。它受支援且能正常運作,但並不是上游針對關鍵部署所建議的配置,而我們的經驗也與此相符。

原因在於故障耦合。在 combined 模式下,承受 I/O 或垃圾回收壓力的 broker 同時也是 controller,因此一個出問題的 broker 不只會失去其分割區的 leader 身分,還可能讓整個叢集的仲裁投票與中繼資料提交停滯。中繼資料日誌每次提交都必須執行 fsync,而在 combined 模式下,這個 fsync 會與分割區日誌的寫入競爭同一組磁碟與同一個 page cache,因此一波 producer 突發流量,可能拖慢負責協調從該突發流量中復原的元件。滾動重新啟動 broker 也等於重新啟動 controller,因此每一次例行的 broker 升級或設定變更,都會觸發一次 controller 選舉。在只有少數幾個 broker、流量很輕的情況下,這些都不太重要;但在擁有數千個分割區且磁碟高負載的情況下,一般的 broker 事件就會演變成全叢集的中繼資料事件。將角色隔離,才能讓 broker 的問題只停留在 broker。

獨立 controller 的規格很容易決定,因為它們只保存中繼資料,而不保存分割區資料。三個 controller 適合大多數叢集,可容忍失去一個。對於超大型環境或多可用區域部署,如果您希望在另一個節點進行維護的同時,還能撐過一整個可用區域的中斷,就值得配置五個,代價是仲裁速度略慢。小型機器就足夠了:幾個核心、幾 GB heap,以及一顆容量不大但低延遲、用於中繼資料日誌的磁碟。每個可用區域放置一個 controller,讓單一可用區域故障不會連帶拖垮仲裁。在 Kubernetes 上,這代表要有一個與 broker 集區分開的專屬 controller 節點集區,我們在 Kubernetes 上的 Kafka 中有詳細說明。仲裁的配置位置,也是任何嚴謹的 Kafka 災難復原設計的一環,因為失去 controller 仲裁的叢集,即使每個 broker 都健康,也無法選出分割區 leader。

遷移既有的 ZooKeeper 叢集有固定的順序。先以 zookeeper.metadata.migration.enable=true 與 ZooKeeper 連線字串啟動新的 controller 仲裁,讓 controller 能讀取既有的中繼資料。接著逐一重新啟動 broker,並設定遷移旗標與 controller 仲裁投票者,讓叢集進入雙寫模式,中繼資料會同時寫入 ZooKeeper 與 KRaft 日誌。待每個 broker 都完成滾動重啟且中繼資料驗證無誤後,從 controller 中移除遷移旗標與 ZooKeeper 設定並重新啟動它們,完成最終定案。在此之前,您都可以回復到 ZooKeeper;定案之後就無法回頭了。Kafka 4.0 已完全移除 ZooKeeper 模式,因此整套程序必須在 3.9 這個過渡版本上執行:先升級到 3.9、完成遷移並定案,之後才能升級到 4.x。

我們對關鍵工作負載的原則很簡單:獨立 controller、三個節點、每個可用區域一個,並放在與其他用途分開的磁碟上。只有在叢集的 broker 少於寥寥數個、且原因有書面記錄時,才使用 combined 模式。當我們接手一個大規模執行 combined 模式的叢集時,拆分角色通常是我們的第一項變更,優先於分割區策略或容量規劃。如果您希望我們針對您的環境進行這項審查,我們的 Kafka 顧問服務團隊可以為您界定範圍,之後再由 Kafka 技術支援以 24/7 涵蓋與 依方案而定、最快 15 分鐘起的回應目標照顧您的叢集。

取得 Kafka 4.0 遷移協助

正在遷移到 Kafka 4.0,或是在以 KRaft 為基礎的叢集中,遇到 Kafka 交易造成無法解釋的吞吐量上限嗎?聯絡 AceMQ,安排一次診斷服務。不確定該從哪裡開始?與 AceMQ 工程師洽談。

這是 Kafka 維運指南十個步驟中的第一步;該指南依照各項維運決策在正式環境中出現的順序逐一說明。

常見問題

Kafka 官方是否建議在正式環境使用獨立的 KRaft controller?

是的。上游 Kafka 文件建議正式環境的工作負載將 controller 執行在專屬伺服器上,並將 combined 模式(同一個節點同時擔任 broker 與 controller)描述為適用於開發、測試,以及不在意資源隔離的小型叢集。combined 模式受支援且能正常運作,但這樣一來,承受 I/O 或 GC 壓力的 broker 同時也是 controller,重新啟動 broker 也等於重新啟動 controller。對於任何關鍵工作負載,我們都會在專屬節點與磁碟上部署獨立的 controller,並將 combined 模式視為僅適用於極小型叢集、且需書面記錄的例外。

正式環境的叢集應該配置幾個 KRaft controller?

大多數叢集配置三個,超大型或多可用區域的環境則配置五個。三節點的仲裁可容忍失去一個 controller,五節點可容忍失去兩個;當您希望在另一個 controller 停機維護的同時,仍能撐過一整個可用區域的中斷時,這點就很重要。controller 只保存中繼資料,因此只需幾個核心、幾 GB heap 與一顆低延遲磁碟的小型節點就已足夠。每個可用區域放置一個 controller,將中繼資料日誌放在獨立的磁碟上,並在 Kubernetes 上以專屬節點集區執行。不要配置偶數個,也不要把 controller 算進 broker 容量。

Kafka 4.0 的 KRaft 模式穩定到足以用於正式環境嗎?

是的。KRaft 是 Kafka 4.0 的標準正式環境架構,而不是 beta 功能。許多組織正積極將它部署於高要求的工作負載,包括銀行業的交易處理,而原因正是它移除了對 ZooKeeper 的依賴。

本文討論的真實 Kafka 4.0 正式環境案例,究竟出了什麼問題?

一個執行於 Kafka 4.0.0 的交易處理平台,為了取得復原能力而加入 Kafka 交易式訊息後,吞吐量從每小時約 320,000 筆交易降到 40,000-50,000 筆。擴增服務執行個體並未改善吞吐量,而移除交易後效能便恢復正常,由此可將退化範圍鎖定在交易路徑上。

KRaft 模式下的 Kafka 交易有問題嗎?

不一定是有問題,但值得更深入的驗證,因為 KRaft 下交易協調器(transaction coordinator)的行為,在架構上與以 ZooKeeper 為基礎的叢集不同。觀察到的吞吐量上限可以重現、對水平擴展毫無反應,而且在移除交易後就消失,顯示交易協調器的行為很可能就是瓶頸所在。

我應該在 4.0 上完全避免使用 Kafka 交易嗎?

不一定,但在將它用於正式環境的關鍵工作負載之前,請先在接近真實的負載下驗證您特定的交易使用模式。如果交易並非絕對必要,可以考慮改用冪等 producer 設定或應用程式層級的去重複,這些替代方案可能完全避開這個瓶頸。

上線前,應該如何對 Kafka 4.0 進行負載測試?

先建立非交易模式的吞吐量基準,接著加入交易,並在相同的負載輪廓下量測差異。明確測試水平擴展:如果吞吐量停滯而非增加,就應調查協調器層級的瓶頸。JMeter 或 Kafka 本身的 kafka-producer-perf-test.sh 都很適合用來產生穩定、可控的負載。

如果我仍在使用以 ZooKeeper 為基礎的叢集,應該以哪個 Kafka 版本為目標?

Kafka 4.0 及更新版本在設計上就不再使用 ZooKeeper;自 4.0 起,ZooKeeper 支援已被移除,而不只是被棄用。因此升級規劃必須把 KRaft 遷移列為必要步驟,而非選擇性步驟。大量使用交易的工作負載,應在遷移計畫中明確為交易路徑預留負載測試時間。

關於 Kafka 4.0 是否能上正式環境,結論是什麼?

核心的 KRaft 架構已可用於正式環境,並正積極用於高要求的工作負載,包括金融交易處理。根據一個真實且可重現的吞吐量退化案例,Kafka 交易在用於對效能敏感的正式環境之前,值得進行專門的負載驗證。

免費諮詢

請專家檢視您的 Kafka 叢集

無論您是在排除正式環境事故、規劃遷移,還是想針對架構聽聽第二意見,我們的團隊都已準備就緒。不推銷,只給答案。

寄信給我們