On this page
Kafka 與 Pulsar 之間的抉擇,歸根究柢取決於一個架構選擇。Kafka broker 同時負責其所承載分割區的服務與儲存。Pulsar 則將兩者分開——無狀態 broker 負責處理流量,Apache BookKeeper 則以分段的 ledger 儲存資料。從多租戶到擴展行為,其他一切都源自這個拆分。
兩者都很成熟,也都在相當規模的正式環境中運作。在 Kafka 與 Pulsar 的比較中,沒有哪一方能完勝;任何宣稱其中一方完勝的文章,作者通常都在推銷另一方。
兩個平台的維運門檻都很高。AceMQ 提供 24/7 Kafka 技術支援與 Apache Pulsar 技術支援(涵蓋 BookKeeper 與 ZooKeeper),並提供依方案而定、最快 15 分鐘起的回應目標。
Kafka vs Pulsar:架構上的分歧
Kafka 的儲存模型是寫入 broker 本機磁碟、經過分割與複寫的日誌。每個分割區都有一個 leader broker 與數個 follower 副本,而每一個都在自己的磁碟區上保存完整的分割區。服務與儲存在設計上就是同一台機器,這正是 Kafka 速度快的原因,也是重新平衡代價高昂的原因。
Pulsar 的模型則是分層的。官方文件將 broker 描述為「無狀態元件」——它不擁有任何資料。儲存位於 Apache BookKeeper,也就是「一套分散式預寫日誌(WAL)系統」,topic 的資料會以一連串 ledger 的形式寫入。ledger 是「一種僅能附加、只有單一寫入者的資料結構,會被指派給多個 BookKeeper 儲存節點,也就是 bookie」,而「managed ledger」則是單一 topic 的儲存層,負責將這些 ledger 串接起來。
這個拆分帶來三個結果,它們幾乎涵蓋了團隊同時執行 Kafka 與 Pulsar 時所注意到的大部分差異:
- 在 Pulsar 中,broker 故障的代價很低。broker 不擁有任何資料,因此 topic 的所有權不需要複製任何東西,就能轉移到另一個 broker。在 Kafka 中,失去一個 broker 代表要進行 leader 選舉,而如果該 broker 沒有帶著它的磁碟回來,還得透過網路完整重建副本。
- Kafka 的分割區受限於單一機器。分割區必須放得進每一個持有其副本的 broker 磁碟。Pulsar 的 segment 分散在各個 bookie 上,因此 topic 不會受限於任何單一節點的容量。
- Kafka 的擴展更可預測。一種元件類型、一種需要釐清的故障模式、一組指標。Pulsar 運算與儲存之間的獨立性是真實的,而它所帶來的額外維運範圍也同樣真實。
Kafka 的分層儲存大幅緩解了第一項限制——下文會再說明——但 broker 本質上是什麼這個根本差異,並不會因此消失。
日常維運,哪一個比較容易?
這正是大多數已發表的 Kafka 與 Pulsar 比較已經過時的地方,因為兩個專案最近都改變了答案。在您做出任何決定之前,這一節也值得對照版本說明再確認一次。
Kafka 移除了 ZooKeeper。2025 年 3 月發布的 Apache Kafka 4.0,是第一個不需要 ZooKeeper 即可執行的主要版本:只支援 KRaft 模式,controller 是 Kafka 程序,而不是另外的一組 ensemble。與此同時,Pulsar 現在支援多種中繼資料後端,並推薦使用 Oxia,ZooKeeper 仍受支援且可用於正式環境。所以過去那句「Pulsar 需要 ZooKeeper,Kafka 不需要」,如今對兩邊來說都是錯的。
仍然成立的,是元件的數量。
| Apache Kafka | Apache Pulsar | |
|---|---|---|
| 服務層 | broker(擁有其分割區的資料) | broker(無狀態) |
| 儲存層 | 同一批 broker,本機日誌目錄 | BookKeeper bookie,分段的 ledger |
| 中繼資料/協調 | KRaft controller(4.0 起移除 ZooKeeper) | 中繼資料儲存——推薦 Oxia,支援 ZooKeeper——另加一個保存整個執行個體範圍狀態的設定儲存 |
| 需要執行的不同程序 | 2 種角色(broker、controller) | 3 種以上(broker、bookie、中繼資料儲存) |
| 需要釐清的故障範圍 | 分割區 leader 與 ISR | broker 所有權、ledger 配置、bookie ensemble |
| 擴展儲存 | 新增 broker 或使用分層儲存 | 獨立於 broker 之外新增 bookie |
三種程序類型而不是兩種,並不足以構成淘汰的理由,但也不是沒有代價。bookie 有自己的容量規劃、自己的 journal 與 ledger 磁碟配置,以及自己的故障行為;而曾在凌晨 3 點除錯 BookKeeper ensemble 的人,遠比除錯過 Kafka broker 的人少得多。
在 Kafka 這一邊,維運上的痛點集中在一個特定的地方:消費者群組重新平衡。如果您還沒跟它交手過,請參閱什麼會觸發 Kafka 重新平衡與診斷 Kafka 消費者延遲。Kafka 4.0 也讓新的消費者重新平衡協定(KIP-848)正式推出,伺服器端預設啟用,消費者則透過 group.protocol=consumer 選擇採用;它移除了造成大部分損害的全域 stop-the-world 屏障。
如果您在 Kubernetes 上執行其中任何一個,請注意,儲存的拆分會大幅改變部署的樣貌——在 EKS、AKS 與 GKE 上執行 Kafka 說明了 Kafka 這一邊的情況。
Kafka 與 Pulsar 在多租戶上有何不同?
這是 Pulsar 在結構上最明確的優勢,而且差距一點也不小。
Pulsar 從一開始就是為多租戶而打造的。租戶是用來分配容量並強制執行驗證或授權的管理單位,租戶之下包含命名空間,而 topic 以 persistent://tenant/namespace/topic 的形式定址。維運上重要的政策——保留期限、儲存配額——都在命名空間層級套用,因此某個團隊失控的保留設定,是靠設定而不是靠溝通來圍堵的。
Kafka 有驗證、ACL 與用戶端配額,搭配 topic 命名慣例與嚴謹的 ACL,也能做到相當程度。但它沒有租戶階層。在 Kafka 中,隔離是您必須自行強制執行的東西;在 Pulsar 中,它是平台直接提供的。
如果您正在打造一個讓每位客戶或每個內部團隊各自擁有一塊資源的平台,這個差異每一季都會不斷累積。如果您只是為一個團隊執行一條資料管線,它就完全沒有價值。
異地複寫與分層儲存的比較如何?
異地複寫。Pulsar 內建這項功能。複寫依命名空間設定,支援全網狀、雙主動與彙整等拓樸。預設為非同步——訊息先持久化到本地叢集,再由 broker 進行複寫——也可透過跨資料中心的 BookKeeper 使用同步複寫,代價是延遲。一個獨立的設定儲存仲裁負責協調讓這一切運作的、整個執行個體範圍的狀態。
Kafka 則使用 MirrorMaker 2,或 Confluent 的 Cluster Linking 等廠商方案,在叢集之間進行複寫。它行得通,部署也很廣泛,但它同樣是一個需要另外部署、監控與釐清的獨立系統——包括 offset 轉換,而跨叢集消費者容錯移轉的意外,大多就藏在這裡。
分層儲存。兩者都有,而且都可用於正式環境。
- Kafka 的實作(KIP-405)在 3.9 達到可用於正式環境的狀態,會將較舊的日誌 segment 卸載到可插拔的外部儲存,broker 則在本機保留近期的資料。
- Pulsar 會將已封存、唯讀的 segment 卸載到 Amazon S3、Google Cloud Storage、Azure Blob Storage、Alibaba Cloud OSS 或檔案系統。卸載可以由待處理訊息量、訊息存放時間、手動管理命令或命名空間層級的政策觸發,並在背景以非同步方式執行。
Pulsar 的版本較為成熟,單純是因為它早了好幾年推出,而且以 segment 為基礎的儲存天生就適合這項功能。Kafka 的版本已經縮小了大部分的實務差距。對 2026 年的新部署而言,分層儲存已不再像 2022 年那樣,是 Kafka 與 Pulsar 之間的決定性因素。
佇列功能與逐則訊息確認呢?
過去,這是 Kafka 與 Pulsar 之間最真實的功能差距,也是最近才剛縮小的差距。
Pulsar 提供四種訂閱類型:exclusive(預設,單一消費者)、failover(一個主要消費者加上備援)、shared(在消費者之間輪流分配,每則訊息只送給其中一個)以及 key_shared(相同鍵值的訊息一律送給同一個消費者)。它支援個別確認與累積確認、否定確認、retry letter topic 與 dead letter topic,以及伺服器端的訊息重複資料刪除。這套功能涵蓋了經典 Kafka 消費者群組無法表達的工作佇列模式,因為 Kafka 的分割區只會指派給群組中的一個消費者。
Kafka 以 share group(KIP-932)作為回應。它在 4.0 進入搶先體驗、4.1 進入預覽,並在 Apache Kafka 4.2 達到可用於正式環境的狀態。share group 中的消費者以協同方式消費,不必將分割區固定給單一消費者,並支援逐筆記錄確認與投遞嘗試次數計算。這已經非常接近 Pulsar 的 shared 訂閱,也讓過去為了佇列型工作負載而選擇 Pulsar 的一個真實理由不復存在。
如果您的評估是依據 2026 年之前撰寫的比較文章,請對照目前的版本說明確認這一節——這是整個比較中變化最快的部分。
哪一個的生態系與人才庫比較大?
Kafka,而且差距很大,這不是需要委婉帶過的勢均力敵。
Kafka Connect 有數百個連接器。Kafka Streams 與 ksqlDB 的部署相當廣泛。每一個主要的串流處理引擎——Flink、Spark 等等——都把 Kafka 視為一等的來源與目的地。每一家可觀測性廠商都提供 Kafka 儀表板。每一家雲端都提供託管式 Kafka 或與 Kafka 相容的端點。而最重要的是,您招募得到曾在正式環境中執行過 Kafka 的人。
Pulsar 也有對應的方案:Pulsar IO 連接器、用於輕量處理的 Pulsar Functions,以及用於查詢 topic 的 Pulsar SQL。但目錄較小,第三方整合範圍較窄,維運知識也集中在較少的人與較少的廠商手中。
對架構決策而言,這一點比大多數 Kafka 與 Pulsar 比較文章所承認的更重要。陌生平台的成本並不是在選型時支付的,而是在十八個月後的凌晨 3 點,由當時值班的人來支付。
Kafka vs Pulsar:您該選擇哪一個?
- 選擇 Kafka 的時機:您想要最大的生態系與人才庫、您的工作負載是單純的高傳輸量資料管線、您希望需要維運的程序類型越少越好,或您需要在任何雲端上使用託管服務,而不必與第三方簽約。
- 選擇 Pulsar 的時機:多租戶是產品需求而不只是加分項目、您需要內建且依命名空間設定、橫跨數個區域的異地複寫、儲存與運算確實需要獨立擴展,或單一 topic 的資料無法輕鬆放進一個 broker 的磁碟。
- 不要為了優雅而遷移。Pulsar 的架構在某些方面更簡潔,在白板上很容易讓人讚嘆。如果您說不出它為您的工作負載解除了哪一項具體限制,遷移只會讓您付出工具、再培訓與組織知識的代價,換來一張您比較喜歡的架構圖。
誠實的總結是:這並不是其中一個系統落後的情況。過去讓 Kafka 與 Pulsar 的選擇在任一方向上顯而易見的差距——ZooKeeper、分層儲存、佇列語意——自 2024 年以來都已縮小。剩下的,是一個真正的架構問題:您是否需要服務與儲存分開擴展;以及一個真正的組織問題:您的團隊實際上有能力維運哪一個平台。
Kafka 在多租戶與分層儲存上追上 Pulsar 了嗎?
儲存方面,大致上追上了。租戶方面,沒有。
Kafka 的分層儲存會把已關閉的日誌 segment 從本機磁碟移到物件儲存,而 broker 仍是用戶端唯一溝通的對象。讀取近期 offset 的消費者會命中本機的熱資料集;讀取較舊 offset 的消費者則會觸發遠端擷取,由 broker 透過同一個 fetch API 串流回傳。本機保留期限因此變成快取大小的決策,而不是容量的決策,一個分割區可以保存好幾個月的歷史資料,卻不需要好幾個月份的磁碟空間。本機與遠端保留設定如何交互作用,請參閱我們的 Kafka 保留政策指南。
Pulsar 透過 BookKeeper 卸載器早了好幾年做到這一點,並保有兩項真正的優勢:卸載是命名空間政策,而不是逐一 topic 的設定;而且由於 bookie 從一開始就是儲存層,broker 的磁碟從來不在考量之中。Kafka 的實作仍有一些邊角限制。compacted topic 無法分層、冷資料的追趕讀取要承擔遠端擷取的延遲,而遠端儲存外掛也需要您自行選擇與維運。對一般事件串流的長期保留而言,兩者已相當接近,儲存不應該成為決定平台的因素。
租戶方面則不同。在 Pulsar 中,租戶擁有命名空間,命名空間擁有 topic,而配額、保留期限、卸載、複寫與權限都附加在命名空間上。Kafka 則靠慣例做到大部分:每個團隊一個 topic 前綴、針對該模式設定的前綴 ACL、依主體設定的配額,以及在某個團隊吵鬧到影響其他團隊時另外分出一個叢集。但這是建立在扁平命名空間之上的紀律,而不是 broker 強制執行的模型。一個打錯的 ACL 就可能把某個前綴開放給錯誤的團隊,也沒有任何機制能把一個團隊的所有設定彙整成一個可以檢查的物件。
我們的結論:Kafka 已經縮小了儲存上的差距,以及大部分的維運差距。Pulsar 仍擁有更簡潔的租戶模型,而代價是 BookKeeper 及其中繼資料儲存,作為第二套有狀態系統與 broker 並行運作。
在我們的專案經驗中,真正需要一等租戶功能的組織,遠比詢問這項功能的組織少得多。當一個平台團隊需要以嚴格隔離、費用分攤與自助佈建來服務數十個應用程式團隊時,它才重要。對於只有三、四個生產端團隊、共用同一個值班輪替的企業而言,它並不重要——而這正是我們合作的大多數企業的樣貌。
BookKeeper vs Kafka 的日誌:為什麼儲存層決定了維運
兩者之間幾乎每一項維運差異,都可以追溯到資料存放的位置。
Kafka broker 擁有自己的分割區:日誌 segment 在它的本機磁碟上,副本在其他 broker 的本機磁碟上,KRaft controller 則追蹤誰是哪個分割區的 leader。儲存容量就是 broker 的容量。當磁碟寫滿或某個 broker 負載過高時,解法是分割區重新指派,也就是透過網路複製副本資料,並等待它追上進度。這個過程會受到流量限制、與線上流量互相競爭,而且大型分割區需要好幾個小時。一開始就把分割區數量與鍵值分布規劃正確(我們在 Kafka 分割區策略中有詳細說明),很大程度上就是為了避免日後走到這一步。
Pulsar broker 不保存任何資料。一個 topic 是一個 managed ledger,每個 ledger 都條帶化分散在一組 bookie ensemble 上,而新的 bookie 只會被納入下一個 ledger。擴展儲存就是新增 bookie:沒有任何資料需要搬移,不必執行重新平衡,而 broker 故障只是一次以秒計的所有權變更,而不是副本追趕。
代價是第二套擁有自己術語的有狀態系統。每個 ledger 都帶有 ensemble size、write quorum 與 ack quorum,三者之間的關係同時決定了耐久性,以及您能承受失去多少個 bookie。當某個 bookie 失效時,autorecovery 必須偵測複寫不足的 ledger 並重新複寫;一旦設定錯誤或遭到停用(我們在接手的叢集中就曾發現過),叢集會在冗餘程度低於所有人認知的情況下默默運作。容錯移轉時的 ledger 復原,必須先隔離(fence)舊的擁有者並確定最後一筆項目,新的 broker 才能提供讀取服務。
兩者的寫入路徑形態也不同。Kafka 的 produce 會落在 leader 的分頁快取,再分送給 follower,在同步副本都取得資料後確認:距離用戶端只有一個躍點,耐久性由 acks 與 min.insync.replicas 決定。Pulsar 的 produce 會送到 broker,由 broker 平行寫入 ensemble;每個 bookie 在寫入 ledger 之前都會對 journal 項目執行 fsync,broker 則在達到 ack quorum 時確認。熱路徑上的兩個躍點加上一次 fsync,正是 Pulsar 在相同耐久性下 p99 寫入延遲高於 Kafka 的原因。
故障的發現方式也遵循同樣的分野。Kafka 的問題通常是複寫不足的分割區,或不再擔任 leader 的 broker,而每一套監控堆疊都認得這些指標。Pulsar 的故障則藏在您沒有注意的那一層:broker 健康、bookie 健康,autorecovery 卻在默默落後。
這就是人力配置的現實。曾在正式環境中執行過 Kafka 的工程師很常見;能在凌晨 3 點釐清 BookKeeper 仲裁問題的工程師則很稀少。我們關於 Kubernetes 上的 Kafka 的說明涵蓋了能縮小這個差距的儲存設定,但沒有任何設定能完全消除它。
當您必須獨立於服務之外擴展儲存、執行數萬個 topic,或需要命名空間租戶來避免每個團隊各開一個叢集時,Pulsar 的架構才值得它的複雜度。否則,Kafka 較簡單的儲存層是更好的取捨,而我們可以協助您設計它,或讓它持續穩定運作。
取得不偏向任何廠商的串流平台評估
正在評估串流平台,或需要支援您已在執行的平台?AceMQ 提供不偏向任何廠商的評估,從工作負載而非架構圖出發——請參閱 Kafka 顧問服務與 Apache Kafka 技術支援與顧問服務,或直接與 AceMQ 工程師聯繫。
常見問題
Kafka 與 Pulsar 最主要的差異是什麼?
Kafka broker 同時負責其所承載分割區的服務與儲存,因此擴展儲存與擴展運算是同一件事。Pulsar 則將兩者拆開:無狀態 broker 負責處理流量,Apache BookKeeper 則以分段的 ledger 儲存資料。這一個決策,造就了其他大部分的差異。
Pulsar 比 Kafka 更難維運嗎?
它的元件更多——broker、bookie 與中繼資料儲存;相較之下,Kafka 自 4.0 移除 ZooKeeper 之後只有 broker 與 controller。這是否更難,取決於多出來的元件能否為您帶來實際效益。對單一租戶的資料管線而言,通常不會。
Pulsar 還需要 ZooKeeper 嗎?
不一定。Pulsar 支援多種中繼資料儲存後端,目前推薦使用 Oxia,而 ZooKeeper 仍受支援且可用於正式環境。以「Pulsar 需要 ZooKeeper、Kafka 不需要」為論點的舊比較,對兩邊來說都已經過時。
哪一個比較適合多租戶?
明顯是 Pulsar。租戶與命名空間是一等公民,topic 以 persistent://tenant/namespace/topic 的形式定址,保留期限與儲存配額則依命名空間套用。Kafka 有 ACL 與配額,但沒有租戶階層,因此隔離是您必須自行遵守的慣例,而不是平台直接提供的結構。
Kafka 支援類似 Pulsar shared 訂閱的佇列功能嗎?
支援,自 Apache Kafka 4.2 起。Share group(KIP-932)在 4.0 搶先體驗、4.1 預覽之後,於 4.2 達到可用於正式環境的狀態。它允許協同消費,不必將分割區固定給單一消費者,並支援逐筆記錄確認——比起經典的消費者群組,更接近 Pulsar 的 shared 訂閱。
兩者都支援分層儲存嗎?
都支援。Kafka 的分層儲存(KIP-405)在 3.9 達到可用於正式環境的狀態。Pulsar 則會將已封存的 segment 卸載到 S3、Google Cloud Storage、Azure Blob、Alibaba OSS 或檔案系統,觸發條件可以是大小、存放時間、手動命令或命名空間政策。
哪一個的異地複寫比較好?
Pulsar 內建異地複寫,依命名空間設定,支援全網狀(full-mesh)、雙主動(active-active)與彙整等模式,並提供非同步與同步兩種選項。Kafka 則使用 MirrorMaker 2 或同等的商業方案在叢集之間複寫,效果良好,但它是一個需要您另外執行與監控的獨立元件。
我應該從 Kafka 遷移到 Pulsar 嗎?
只有在您能明確說出具體理由時才該遷移——真正的多租戶需求、依命名空間的異地複寫,或儲存與運算需要獨立擴展。若只是為了架構上的優雅而遷移,就得在工具、招募與組織知識上付出真實的代價,換來的卻可能是您根本用不到的好處。
Pulsar 比 Kafka 更容易維運嗎?
不會。Pulsar 的無狀態 broker 讓單一 broker 故障與儲存擴充比 Kafka 的分割區重新指派更簡單,但整個平台的有狀態元件更多:broker、BookKeeper bookie 與中繼資料儲存,各自有其故障模式、磁碟配置與監控需求。使用 KRaft 的 Kafka 只有一種程序類型,搭配本機磁碟。如果您的團隊已經在執行 Kafka,Pulsar 會淨增加維運範圍,而能把 BookKeeper 維運好的人才也比 Kafka 人才更難招募。
參考資料
Talk to an engineer
Need a hand with Kafka?
Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.
指南、比較與研究

