On this page
La scelta tra Kafka e Pulsar si riduce a una decisione architetturale. I broker Kafka gestiscono sia il servizio sia lo storage delle partizioni che ospitano. Pulsar li separa: broker stateless servono il traffico mentre Apache BookKeeper memorizza i dati come ledger segmentati. Tutto il resto, dalla multi-tenancy al comportamento in scalabilità, discende da questa separazione.
Entrambi sono maturi ed entrambi girano in produzione su scala importante. Nessuno dei due vince il confronto in modo netto, e qualsiasi articolo che ne proclami uno vincitore è di solito scritto da qualcuno che vende l'altro.
Entrambe le piattaforme sono impegnative da gestire. AceMQ offre supporto Kafka e supporto Apache Pulsar 24/7, inclusi BookKeeper e ZooKeeper, con uno SLA di emergenza di 15 minuti.
Kafka o Pulsar: la separazione architetturale
Il modello di storage di Kafka è un log partizionato e replicato, scritto sul disco locale del broker. Ogni partizione ha un broker leader e repliche follower, e ciascuno di essi conserva l'intera partizione sul proprio volume. Servizio e storage risiedono per progetto sulla stessa macchina: è ciò che rende Kafka veloce ed è ciò che rende costoso il ribilanciamento.
Il modello di Pulsar è a livelli. Nella documentazione i broker sono descritti come un "componente stateless": non possiedono dati. Lo storage risiede in Apache BookKeeper, "un sistema distribuito di write-ahead log (WAL)", dove i dati di un topic vengono scritti come una serie di ledger. Un ledger è "una struttura dati append-only con un unico writer, assegnata a più nodi di storage BookKeeper, detti bookie", e il "managed ledger" è il livello di storage di un singolo topic, che cuce insieme quei ledger.
Da questa separazione derivano tre conseguenze, che spiegano la maggior parte di ciò che i team notano gestendo Kafka e Pulsar fianco a fianco:
- In Pulsar il guasto di un broker costa poco. Un broker non possiede dati, quindi la proprietà dei topic passa a un altro broker senza copiare nulla. In Kafka la perdita di un broker comporta un'elezione del leader e, se il broker non torna con il suo disco, una ricostruzione completa delle repliche attraverso la rete.
- Le partizioni Kafka sono limitate a una sola macchina. Una partizione deve stare sui dischi di ogni broker che ne ospita una replica. I segmenti di Pulsar sono distribuiti tra i bookie, quindi un topic non è limitato dalla capacità di un singolo nodo.
- Kafka scala in modo più prevedibile. Un solo tipo di componente, una sola modalità di guasto da analizzare, un solo insieme di metriche. L'indipendenza tra calcolo e storage di Pulsar è reale, e lo è anche la superficie aggiuntiva che crea.
Il tiered storage di Kafka attenua considerevolmente il primo vincolo (ne parliamo più avanti), ma la differenza di fondo in ciò che un broker è non scompare.
Quale dei due è più facile da gestire nel quotidiano?
È qui che la maggior parte dei confronti pubblicati tra Kafka e Pulsar risulta superata, perché entrambi i progetti hanno cambiato la risposta di recente. È anche la sezione da ricontrollare sulle release notes prima di impegnarvi in qualsiasi scelta.
Kafka ha eliminato ZooKeeper. Apache Kafka 4.0, rilasciato a marzo 2025, è la prima major release a funzionare senza: solo modalità KRaft, con i controller come processi Kafka anziché come ensemble separato. Pulsar, nel frattempo, supporta ora più backend di metadati e raccomanda Oxia, mentre ZooKeeper resta supportato e pronto per la produzione. Quindi il vecchio luogo comune, "Pulsar ha bisogno di ZooKeeper, Kafka no", oggi è sbagliato su entrambi i fronti.
Quello che resta vero è il numero di componenti.
| Apache Kafka | Apache Pulsar | |
|---|---|---|
| Livello di servizio | Broker (possiedono i dati delle loro partizioni) | Broker (stateless) |
| Livello di storage | Gli stessi broker, directory di log locali | Bookie BookKeeper, ledger segmentati |
| Metadati / coordinamento | Controller KRaft (ZooKeeper rimosso nella 4.0) | Metadata store (Oxia raccomandato, ZooKeeper supportato) più un configuration store per lo stato a livello di istanza |
| Processi distinti da gestire | 2 ruoli (broker, controller) | 3 o più (broker, bookie, metadata store) |
| Dominio di guasto da analizzare | Leadership delle partizioni e ISR | Proprietà dei broker, posizionamento dei ledger, ensemble di bookie |
| Scalare lo storage | Aggiungere broker o usare il tiered storage | Aggiungere bookie indipendentemente dai broker |
Tre tipi di processo invece di due non sono un motivo di esclusione, ma non sono nemmeno gratuiti. I bookie hanno una propria pianificazione della capacità, una propria disposizione dei dischi per journal e ledger e un proprio comportamento in caso di guasto, e le persone che hanno fatto il debug di un ensemble BookKeeper alle 3 di notte sono molte meno di quelle che lo hanno fatto su un broker Kafka.
Sul fronte Kafka, il dolore operativo è concentrato in un punto preciso: il ribilanciamento dei consumer group. Se non ci avete mai dovuto combattere, cosa scatena un rebalance in Kafka e come diagnosticare il consumer lag di Kafka trattano l'argomento. Kafka 4.0 ha anche portato in disponibilità generale il nuovo protocollo di rebalance dei consumer (KIP-848), abilitato di default lato server e attivabile dai consumer tramite group.protocol=consumer, che elimina la barriera globale stop-the-world responsabile della maggior parte dei danni.
Se eseguite l'uno o l'altro su Kubernetes, tenete presente che la separazione dello storage cambia notevolmente la forma del deployment: eseguire Kafka su EKS, AKS e GKE copre il lato Kafka della questione.
Come cambia la multi-tenancy tra Kafka e Pulsar?
È il vantaggio strutturale più evidente di Pulsar, e non c'è partita.
Pulsar è nato multi-tenant. Un tenant è un'unità amministrativa per allocare capacità e applicare autenticazione o autorizzazione, un tenant contiene namespace e i topic si indirizzano come persistent://tenant/namespace/topic. Le policy che contano sul piano operativo, come retention e quote di storage, si applicano a livello di namespace, quindi la retention fuori controllo di un team viene contenuta dalla configurazione e non da una conversazione.
Kafka ha autenticazione, ACL e quote per i client, e con una convenzione di naming dei topic e ACL disciplinate si può arrivare lontano. Ma non esiste una gerarchia di tenancy. L'isolamento è qualcosa che dovete far rispettare voi; in Pulsar è qualcosa che vi viene dato.
Se state costruendo una piattaforma in cui ogni cliente o ogni team interno ha la propria porzione, quella differenza si accumula trimestre dopo trimestre. Se gestite una sola pipeline per un solo team, non vale assolutamente nulla.
Come si confrontano geo-replica e tiered storage?
Geo-replica. Pulsar la include di serie. La replica si configura per namespace e supporta topologie full-mesh, active-active e di aggregazione. Il default è asincrono (i messaggi vengono resi persistenti sul cluster locale e poi replicati dai broker), con una replica sincrona disponibile tramite BookKeeper tra data center al costo di una maggiore latenza. Un quorum separato di configuration store coordina lo stato a livello di istanza che rende possibile tutto questo.
Kafka replica tra cluster con MirrorMaker 2, o con un equivalente di un vendor come il Cluster Linking di Confluent. Funziona, è ampiamente diffuso ed è anche un sistema separato da installare, monitorare e comprendere, compresa la traduzione degli offset, che è dove si nasconde la maggior parte delle sorprese nel failover dei consumer tra cluster.
Tiered storage. Ce l'hanno entrambi, ed entrambi sono pronti per la produzione.
- L'implementazione di Kafka (KIP-405) ha raggiunto la maturità per la produzione nella 3.9: trasferisce i segmenti di log più vecchi su uno storage esterno pluggable, mentre i broker conservano localmente i dati recenti.
- Pulsar trasferisce i segmenti sigillati e in sola lettura su Amazon S3, Google Cloud Storage, Azure Blob Storage, Alibaba Cloud OSS o un filesystem. Il trasferimento può essere attivato dalla dimensione del backlog, dall'età dei messaggi, da un comando amministrativo manuale o da una policy a livello di namespace, e viene eseguito in modo asincrono in background.
La versione di Pulsar è più matura semplicemente perché è arrivata anni prima e il suo storage basato su segmenti vi si prestava naturalmente. Quella di Kafka ha colmato gran parte del divario pratico. Per un nuovo deployment nel 2026, il tiered storage non è più il fattore decisivo tra Kafka e Pulsar che era nel 2022.
E per il queueing e gli ack per singolo messaggio?
Storicamente era il divario di funzionalità più concreto tra Kafka e Pulsar, ed è quello che si è chiuso più di recente.
Pulsar offre quattro tipi di subscription: exclusive (il default, un solo consumer), failover (un primario con standby), shared (round-robin tra i consumer, ogni messaggio a esattamente uno di essi) e key_shared (i messaggi con la stessa chiave vanno sempre allo stesso consumer). Supporta acknowledgement individuale e cumulativo, acknowledgement negativo, retry letter topic e dead letter topic e deduplicazione dei messaggi lato server. Questo insieme copre pattern di work queue che un consumer group Kafka classico non può esprimere, perché una partizione Kafka è assegnata a un solo consumer del gruppo.
Kafka ha risposto con gli share group (KIP-932). Sono passati all'early access nella 4.0, alla preview nella 4.1 e sono diventati pronti per la produzione in Apache Kafka 4.2. I consumer di uno share group consumano in modo cooperativo senza vincolare una partizione a un solo consumer, con acknowledgement per singolo record e conteggio dei tentativi di consegna. È molto più vicino alla shared subscription di Pulsar ed elimina quello che un tempo era un motivo reale per scegliere Pulsar per i carichi di lavoro a coda.
Se la vostra valutazione si basa su un confronto scritto prima del 2026, verificate questa sezione sulle release notes attuali: è la parte dell'intero confronto che cambia più rapidamente.
Quale ha l'ecosistema e il bacino di competenze più ampi?
Kafka, con ampio margine, e non è un verdetto che valga la pena ammorbidire.
Kafka Connect ha centinaia di connettori. Kafka Streams e ksqlDB sono ampiamente diffusi. Ogni principale stream processor (Flink, Spark e gli altri) tratta Kafka come sorgente e destinazione di prima classe. Ogni vendor di osservabilità fornisce dashboard per Kafka. Ogni cloud offre un Kafka gestito o un endpoint compatibile con Kafka. E, soprattutto, potete assumere persone che hanno gestito Kafka in produzione.
Pulsar ha equivalenti reali: i connettori Pulsar IO, Pulsar Functions per l'elaborazione leggera e Pulsar SQL per interrogare i topic. Il catalogo è più ridotto, la superficie di integrazione con terze parti è più sottile e il know-how operativo è concentrato in meno persone e in un numero minore di vendor.
Per una decisione architetturale questo conta più di quanto ammetta la maggior parte dei confronti tra Kafka e Pulsar. Il costo di una piattaforma poco familiare non si paga al momento della scelta. Si paga alle 3 di notte, diciotto mesi dopo, da chi è di reperibilità.
Kafka o Pulsar: quale scegliere?
- Scegliete Kafka quando volete l'ecosistema e il bacino di competenze più ampi, quando il vostro carico di lavoro è una pipeline ad alto throughput lineare, quando volete il minor numero di tipi di processo da gestire, o quando vi serve un servizio gestito su qualsiasi cloud senza un contratto con terze parti.
- Scegliete Pulsar quando la multi-tenancy è un requisito di prodotto e non un optional, quando vi serve una geo-replica nativa per namespace tra più regioni, quando storage e calcolo devono davvero scalare in modo indipendente, o quando i dati di un singolo topic non starebbero comodamente sui dischi di un solo broker.
- Non migrate per eleganza. L'architettura di Pulsar è più pulita in modi facili da ammirare su una lavagna. Se non sapete indicare il vincolo specifico che elimina per il vostro carico di lavoro, la migrazione vi costerà strumenti, riqualificazione e know-how interno in cambio di un diagramma che vi piace di più.
La sintesi onesta: non è un caso in cui un sistema sia rimasto indietro. I divari che un tempo rendevano ovvia la scelta tra Kafka e Pulsar in una direzione o nell'altra (ZooKeeper, tiered storage, semantica delle code) si sono tutti ridotti dal 2024. Quello che resta è una vera questione architetturale, cioè se vi serve che servizio e storage scalino separatamente, e una vera questione organizzativa, cioè quale piattaforma il vostro team è davvero in grado di gestire.
Kafka ha raggiunto Pulsar su multi-tenancy e tiered storage?
Sullo storage, in gran parte sì. Sulla tenancy, no.
Il tiered storage di Kafka sposta i segmenti di log chiusi dal disco locale all'object storage, mentre il broker resta l'unico interlocutore dei client. I consumer che leggono offset recenti accedono all'hot set locale; quelli che leggono offset più vecchi attivano un fetch remoto che il broker restituisce attraverso la stessa fetch API. La retention locale diventa una decisione di dimensionamento della cache anziché di capacità, e una partizione può contenere mesi di storico senza richiedere mesi di disco. Il modo in cui interagiscono le impostazioni di retention locale e remota è trattato nella nostra guida alla retention policy di Kafka.
Pulsar ci è arrivato anni prima tramite gli offloader di BookKeeper e mantiene due vantaggi concreti: l'offload è una policy di namespace anziché un'impostazione per singolo topic e, poiché i bookie sono sempre stati il livello di storage, il disco dei broker non è mai entrato in gioco. L'implementazione di Kafka ha ancora dei limiti. I topic compattati non possono essere spostati sul tier remoto, le letture di recupero a freddo pagano la latenza del fetch remoto e il plugin di storage remoto è qualcosa che dovete scegliere e gestire. Per una retention lunga su un normale flusso di eventi, i due sono abbastanza vicini da non far decidere la piattaforma allo storage.
La tenancy è un'altra storia. In Pulsar un tenant possiede namespace, un namespace possiede topic, e quote, retention, offload, replica e permessi si agganciano al namespace. Kafka ci arriva in gran parte con delle convenzioni: un prefisso di topic per team, ACL con prefisso su quel pattern, quote per principal e un cluster separato quando un team è abbastanza rumoroso da danneggiare gli altri. Ma si tratta di disciplina sopra un namespace piatto, non di un modello imposto dal broker. Un'ACL digitata male può aprire un prefisso al team sbagliato, e nulla raccoglie le impostazioni di un team in un unico oggetto ispezionabile.
Il nostro verdetto: Kafka ha colmato il divario sullo storage e la maggior parte di quello operativo. Pulsar ha ancora il modello di tenancy più pulito, e il prezzo è BookKeeper più il suo metadata store, in esecuzione come secondo sistema stateful accanto ai broker.
Nei nostri interventi, le organizzazioni che hanno davvero bisogno di una tenancy nativa sono molte meno di quelle che ne chiedono. Conta quando un team di piattaforma serve decine di team applicativi con isolamento rigido, chargeback e provisioning self-service. Non conta per un'azienda con tre o quattro team produttori nello stesso turno di reperibilità, che è la situazione della maggior parte delle aziende con cui lavoriamo.
BookKeeper o il log di Kafka: perché il livello di storage decide la gestione operativa
Quasi ogni differenza operativa tra i due si riconduce a dove risiedono i byte.
Un broker Kafka possiede le sue partizioni: segmenti di log sul proprio disco locale, repliche sui dischi locali di altri broker, controller KRaft che tengono traccia di chi guida cosa. La capacità di storage coincide con la capacità dei broker. Quando un disco si riempie o un broker è sotto stress, la soluzione è la riassegnazione delle partizioni, che copia i dati delle repliche attraverso la rete e attende che si riallineino. È soggetta a throttling, compete con il traffico live e richiede ore su una partizione di grandi dimensioni. Impostare correttamente fin dall'inizio il numero di partizioni e la distribuzione delle chiavi, come spieghiamo in strategia di partizionamento in Kafka, serve in gran parte a evitarlo in seguito.
I broker Pulsar non conservano dati. Un topic è un managed ledger, ogni ledger è distribuito su un ensemble di bookie e un nuovo bookie viene semplicemente incluso nel ledger successivo. Scalare lo storage significa aggiungere bookie: nulla si sposta, non parte alcun ribilanciamento e il guasto di un broker è un cambio di proprietà misurato in secondi anziché un riallineamento delle repliche.
Il conto da pagare è un secondo sistema stateful con un proprio vocabolario. Ogni ledger ha un ensemble size, un write quorum e un ack quorum, e la relazione tra i tre determina sia la durabilità sia quanti bookie potete perdere. Quando un bookie muore, l'autorecovery deve rilevare i ledger sotto-replicati e replicarli di nuovo; se è configurata male o disabilitata, come ci è capitato di trovare in cluster ereditati, il cluster gira in silenzio con meno ridondanza di quanto chiunque creda. Il recupero dei ledger durante il failover deve isolare (fencing) il vecchio proprietario e consolidare l'ultima entry prima che il nuovo broker serva le letture.
I percorsi di scrittura hanno una forma diversa. Una produce in Kafka arriva nella page cache del leader, si propaga ai follower e viene confermata quando le repliche in sync l'hanno ricevuta: un solo hop dal client, con la durabilità definita da acks e min.insync.replicas. Una produce in Pulsar va al broker, che scrive in parallelo sull'ensemble; ogni bookie esegue un fsync di una entry del journal prima della scrittura sul ledger, e il broker conferma al raggiungimento dell'ack quorum. Due hop e un fsync sul percorso critico sono il motivo per cui la latenza di scrittura p99 di Pulsar è più alta di quella di Kafka a parità di durabilità.
Il rilevamento dei guasti segue la stessa separazione. Un problema Kafka è di solito una partizione sotto-replicata o un broker che ha smesso di fare da leader, e ogni stack di monitoraggio conosce quelle metriche. I guasti di Pulsar si nascondono nel livello che non state osservando: broker in salute, bookie in salute, autorecovery silenziosamente in ritardo.
Questa è la realtà del personale. Gli ingegneri che hanno gestito Kafka in produzione sono comuni. Quelli in grado di ragionare sui quorum di BookKeeper alle 3 di notte sono rari. Le nostre note su Kafka su Kubernetes coprono le impostazioni di storage che riducono il divario, ma niente lo colma.
L'architettura di Pulsar giustifica la propria complessità quando dovete scalare lo storage indipendentemente dal servizio, gestire decine di migliaia di topic o avete bisogno della tenancy per namespace per evitare un cluster per ogni team. Altrimenti il livello di storage più semplice di Kafka è il compromesso migliore, e possiamo aiutarvi a progettarlo o a mantenerlo in esercizio.
Richiedete un assessment di streaming indipendente dai vendor
State valutando una piattaforma di streaming, o dovete supportarne una che già gestite? AceMQ svolge assessment indipendenti dai vendor che partono dal carico di lavoro anziché dal diagramma architetturale: scoprite la consulenza Kafka e il supporto e la consulenza Apache Kafka, oppure parlate con un ingegnere AceMQ.
Domande frequenti
Qual è la differenza principale tra Kafka e Pulsar?
I broker Kafka gestiscono sia il servizio sia lo storage delle partizioni che ospitano, quindi scalare lo storage e scalare il calcolo sono la stessa operazione. Pulsar li separa: broker stateless servono il traffico e Apache BookKeeper memorizza i dati come ledger segmentati. Questa singola decisione determina la maggior parte delle altre differenze.
Pulsar è più difficile da gestire rispetto a Kafka?
Ha più componenti in gioco: broker, bookie e un metadata store, contro broker e controller di Kafka da quando ZooKeeper è stato rimosso nella 4.0. Che sia più difficile dipende dal fatto che i componenti aggiuntivi vi diano qualcosa in cambio. Per una pipeline single-tenant, di solito no.
Pulsar ha ancora bisogno di ZooKeeper?
Non necessariamente. Pulsar supporta diversi backend di metadata store e ora raccomanda Oxia, mentre ZooKeeper resta supportato e pronto per la produzione. I confronti più vecchi che si basano sul fatto che Pulsar abbia bisogno di ZooKeeper e Kafka no sono superati su entrambi i fronti.
Quale dei due è migliore per la multi-tenancy?
Pulsar, senza dubbio. Tenant e namespace sono elementi nativi, i topic si indirizzano come persistent://tenant/namespace/topic e retention e quote di storage si applicano per namespace. Kafka ha ACL e quote ma nessuna gerarchia di tenancy, quindi l'isolamento è una convenzione che dovete far rispettare voi, non una struttura che la piattaforma vi fornisce.
Kafka supporta il queueing come le shared subscription di Pulsar?
Sì, a partire da Apache Kafka 4.2. Gli share group (KIP-932) sono diventati pronti per la produzione in quella versione, dopo l'early access nella 4.0 e la preview nella 4.1. Consentono un consumo cooperativo senza vincolare una partizione a un solo consumer, con acknowledgement per singolo record: un comportamento più vicino alla shared subscription di Pulsar che a un consumer group classico.
Entrambi supportano il tiered storage?
Sì. Il tiered storage di Kafka (KIP-405) è diventato pronto per la produzione nella 3.9. Pulsar trasferisce i segmenti sigillati su S3, Google Cloud Storage, Azure Blob, Alibaba OSS o un filesystem, con attivazione in base a dimensione, età, comando manuale o policy di namespace.
Quale ha la geo-replica migliore?
Pulsar la integra nativamente, configurata per namespace, con pattern full-mesh, active-active e di aggregazione e con opzioni sia asincrone sia sincrone. Kafka replica tra cluster tramite MirrorMaker 2 o un equivalente commerciale, che funziona bene ma è un componente separato da gestire e monitorare.
Conviene migrare da Kafka a Pulsar?
Solo per un motivo specifico che sapete nominare: vera multi-tenancy, geo-replica per namespace o scalabilità indipendente di storage e calcolo. Migrare per eleganza architetturale significa pagare un costo reale in strumenti, assunzioni e know-how interno per un beneficio che potreste non usare.
Pulsar è più semplice da gestire rispetto a Kafka?
No. I broker stateless di Pulsar rendono più semplici i guasti dei singoli broker e l'espansione dello storage rispetto alla riassegnazione delle partizioni di Kafka, ma la piattaforma nel suo complesso ha più componenti stateful: broker, bookie BookKeeper e un metadata store, ciascuno con le proprie modalità di guasto, la propria disposizione dei dischi e il proprio monitoraggio. Kafka su KRaft è un solo tipo di processo con dischi locali. Se il vostro team gestisce già Kafka, Pulsar comporta un aumento netto della superficie operativa, e le competenze per gestire bene BookKeeper sono più difficili da reperire sul mercato rispetto a quelle su Kafka.
Fonti
- Apache Pulsar — Panoramica dell'architettura (broker, BookKeeper, managed ledger, metadata store)
- Apache Pulsar — Architettura multi-tenant
- Apache Pulsar — Geo-replica
- Apache Pulsar — Tiered storage
- Apache Kafka — Annuncio della release 4.0.0 (solo KRaft, KIP-848 in GA)
- Apache Kafka — Annuncio della release 4.2.0 (share group pronti per la produzione)
- Apache Kafka — Tiered storage
Talk to an engineer
Need a hand with Kafka?
Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.
Guide, confronti e ricerche

