On this page
A decisão entre Kafka e Pulsar resume-se a uma escolha de arquitetura. Os brokers Kafka detêm tanto o serviço como o armazenamento das partições que alojam. O Pulsar separa-os — brokers stateless servem o tráfego enquanto o Apache BookKeeper armazena os dados como ledgers segmentados. Tudo o resto, da multi-tenancy ao comportamento na escalabilidade, decorre dessa separação.
Ambos são maduros e ambos funcionam em produção a uma escala considerável. Nenhum ganha a comparação Kafka vs Pulsar de forma absoluta, e qualquer artigo que declare um vencedor costuma ter sido escrito por alguém que vende o outro.
Ambas as plataformas são exigentes de operar. A AceMQ presta suporte Kafka e suporte Apache Pulsar 24/7, incluindo BookKeeper e ZooKeeper, com objetivos de resposta a partir de 15 minutos, consoante o plano.
Kafka vs Pulsar: a separação na arquitetura
O modelo de armazenamento do Kafka é um log particionado e replicado, escrito no disco local do broker. Cada partição tem um broker líder e réplicas seguidoras, e cada uma delas guarda a partição completa no seu próprio volume. O serviço e o armazenamento estão, por desenho, na mesma máquina, e é isso que torna o Kafka rápido e o rebalanceamento dispendioso.
O modelo do Pulsar é em camadas. A documentação descreve os brokers como um «componente stateless» — não detêm dados. O armazenamento fica no Apache BookKeeper, «um sistema distribuído de write-ahead log (WAL)», onde os dados de um tópico são escritos como uma série de ledgers. Um ledger é «uma estrutura de dados append-only com um único escritor, atribuída a vários nós de armazenamento BookKeeper, ou bookies», e o «managed ledger» é a camada de armazenamento de um único tópico, que junta esses ledgers.
Dessa separação decorrem três consequências, que explicam a maior parte do que as equipas notam quando operam Kafka e Pulsar lado a lado:
- A falha de um broker é barata no Pulsar. Um broker não detém dados, pelo que a propriedade dos tópicos passa para outro broker sem copiar nada. No Kafka, a perda de um broker implica uma eleição de líder e, se o broker não regressar com o seu disco, uma reconstrução completa das réplicas através da rede.
- As partições do Kafka estão limitadas a uma máquina. Uma partição tem de caber nos discos de todos os brokers que alojam uma réplica. Os segmentos do Pulsar estão distribuídos pelos bookies, pelo que um tópico não está limitado à capacidade de nenhum nó individual.
- O Kafka escala de forma mais previsível. Um tipo de componente, um modo de falha sobre o qual raciocinar, um conjunto de métricas. A independência entre computação e armazenamento do Pulsar é real, e também o é a superfície adicional que cria.
O tiered storage do Kafka atenua consideravelmente a primeira restrição — mais sobre isso adiante —, mas a diferença de fundo naquilo que um broker é não desaparece.
Qual é mais fácil de operar no dia a dia?
É aqui que a maior parte das comparações publicadas entre Kafka e Pulsar está desatualizada, porque ambos os projetos mudaram a resposta recentemente. É também a secção que vale a pena voltar a confrontar com as notas de versão antes de se comprometer com o que quer que seja.
O Kafka removeu o ZooKeeper. O Apache Kafka 4.0, lançado em março de 2025, é a primeira versão principal a funcionar sem ele: apenas modo KRaft, com os controllers como processos Kafka em vez de um ensemble separado. O Pulsar, por seu lado, suporta agora vários backends de metadados e recomenda o Oxia, continuando o ZooKeeper suportado e pronto para produção. Por isso, a velha máxima — «o Pulsar precisa do ZooKeeper, o Kafka não» — está agora errada dos dois lados.
O que continua a ser verdade é o número de componentes.
| Apache Kafka | Apache Pulsar | |
|---|---|---|
| Camada de serviço | Brokers (detêm os dados das suas partições) | Brokers (stateless) |
| Camada de armazenamento | Os mesmos brokers, diretórios de log locais | Bookies do BookKeeper, ledgers segmentados |
| Metadados / coordenação | Controllers KRaft (ZooKeeper removido na 4.0) | Metadata store — Oxia recomendado, ZooKeeper suportado — e ainda um configuration store para o estado de toda a instância |
| Processos distintos a operar | 2 papéis (broker, controller) | 3 ou mais (broker, bookie, metadata store) |
| Domínio de falha a considerar | Liderança das partições e ISR | Propriedade dos brokers, colocação dos ledgers, ensembles de bookies |
| Escalar o armazenamento | Adicionar brokers ou usar tiered storage | Adicionar bookies independentemente dos brokers |
Três tipos de processo em vez de dois não é motivo de exclusão, mas também não sai de graça. Os bookies têm o seu próprio planeamento de capacidade, a sua própria organização de discos para journal e ledgers e o seu próprio comportamento perante falhas, e o número de pessoas que já depuraram um ensemble BookKeeper às 3 da manhã é muito menor do que o das que já depuraram um broker Kafka.
Do lado do Kafka, a dor operacional concentra-se num ponto específico: o rebalanceamento dos consumer groups. Se ainda não teve de lutar com isso, o que desencadeia um rebalance no Kafka e diagnosticar o consumer lag no Kafka tratam do assunto. O Kafka 4.0 trouxe também para disponibilidade geral o novo protocolo de rebalance dos consumidores (KIP-848), ativo por omissão do lado do servidor e com os consumidores a aderirem através de group.protocol=consumer, o que elimina a barreira global stop-the-world que causava a maior parte dos estragos.
Se estiver a executar qualquer um deles em Kubernetes, tenha em conta que a separação do armazenamento altera consideravelmente a forma da implementação — executar Kafka em EKS, AKS e GKE cobre o lado Kafka dessa questão.
Como difere a multi-tenancy entre Kafka e Pulsar?
Esta é a vantagem estrutural mais clara do Pulsar, e a diferença não é pequena.
O Pulsar foi construído para ser multi-tenant. Um tenant é uma unidade administrativa para atribuir capacidade e impor autenticação ou autorização, um tenant contém namespaces e os tópicos são endereçados como persistent://tenant/namespace/topic. As políticas que importam operacionalmente — retenção, quotas de armazenamento — aplicam-se ao nível do namespace, pelo que a retenção descontrolada de uma equipa é contida pela configuração, e não por uma conversa.
O Kafka tem autenticação, ACLs e quotas de clientes, e é possível ir longe com uma convenção de nomes de tópicos e ACLs disciplinadas. Mas não existe hierarquia de tenancy. O isolamento é algo que se impõe; no Pulsar, é algo que é dado.
Se estiver a construir uma plataforma em que cada cliente ou cada equipa interna tem a sua própria fatia, essa diferença acumula-se trimestre após trimestre. Se estiver a operar um único pipeline para uma única equipa, não vale absolutamente nada.
Como se comparam a geo-replicação e o tiered storage?
Geo-replicação. O Pulsar já a traz de origem. A replicação é configurada por namespace e suporta topologias full-mesh, ativo-ativo e de agregação. Por omissão é assíncrona — as mensagens são persistidas no cluster local e depois replicadas pelos brokers —, havendo replicação síncrona disponível através do BookKeeper entre datacenters, à custa da latência. Um quórum separado do configuration store coordena o estado de toda a instância que torna isto possível.
O Kafka replica entre clusters com o MirrorMaker 2, ou com um equivalente de um fabricante, como o Cluster Linking da Confluent. Funciona, está amplamente implementado e é também um sistema separado que é preciso implementar, monitorizar e compreender — incluindo a tradução de offsets, que é onde vive a maior parte das surpresas no failover de consumidores entre clusters.
Tiered storage. Ambos o têm, e ambos estão prontos para produção.
- A implementação do Kafka (KIP-405) ficou pronta para produção na 3.9 e transfere os segmentos de log mais antigos para armazenamento externo através de plugins, mantendo os brokers os dados recentes localmente.
- O Pulsar transfere os segmentos selados, só de leitura, para Amazon S3, Google Cloud Storage, Azure Blob Storage, Alibaba Cloud OSS ou um sistema de ficheiros. A transferência pode ser desencadeada pelo tamanho do backlog, pela idade das mensagens, por um comando de administração manual ou por uma política ao nível do namespace, e decorre de forma assíncrona em segundo plano.
A versão do Pulsar é mais madura simplesmente porque chegou anos antes e o seu armazenamento baseado em segmentos se prestava naturalmente a isso. A do Kafka fechou a maior parte da diferença prática. Para uma nova implementação em 2026, o tiered storage já não é o fator decisivo entre Kafka e Pulsar que era em 2022.
E as filas e os acks por mensagem?
Historicamente, esta era a diferença de capacidades mais genuína entre Kafka e Pulsar, e é a que se fechou mais recentemente.
O Pulsar oferece quatro tipos de subscrição: exclusive (o valor por omissão, um consumidor), failover (um principal com standbys), shared (round-robin entre consumidores, cada mensagem para exatamente um) e key_shared (as mensagens com a mesma chave vão sempre para o mesmo consumidor). Suporta acknowledgement individual e cumulativo, negative acknowledgement, retry letter topics e dead letter topics, bem como deduplicação de mensagens do lado do servidor. Esse conjunto cobre padrões de work queue que um consumer group clássico do Kafka não consegue exprimir, porque uma partição Kafka é atribuída a exatamente um consumidor do grupo.
O Kafka respondeu com as share groups (KIP-932). Passaram por early access na 4.0 e por preview na 4.1, e ficaram prontas para produção no Apache Kafka 4.2. Os consumidores de uma share group consomem de forma cooperativa sem fixar uma partição a um único consumidor, com acknowledgement por registo e contagem das tentativas de entrega. Isso fica muito mais próximo da shared subscription do Pulsar e elimina aquilo que costumava ser uma razão real para escolher o Pulsar em cargas com forma de fila.
Se a sua avaliação se basear numa comparação escrita antes de 2026, confronte esta secção com as notas de versão atuais — é a parte de toda a comparação que evolui mais depressa.
Qual tem o maior ecossistema e a maior bolsa de talento?
O Kafka, por larga margem, e não é uma questão equilibrada que valha a pena suavizar.
O Kafka Connect tem centenas de connectors. O Kafka Streams e o ksqlDB estão amplamente implementados. Todos os grandes processadores de streams — Flink, Spark e os restantes — tratam o Kafka como origem e destino de primeira classe. Todos os fornecedores de observabilidade disponibilizam dashboards de Kafka. Todas as clouds oferecem um Kafka gerido ou um endpoint compatível com Kafka. E, o mais importante, é possível contratar pessoas que já operaram Kafka em produção.
O Pulsar tem equivalentes reais: connectors Pulsar IO, Pulsar Functions para processamento leve e Pulsar SQL para consultar tópicos. O catálogo é mais pequeno, a superfície de integração com terceiros é mais limitada e o conhecimento operacional está concentrado em menos pessoas e num conjunto mais reduzido de fornecedores.
Numa decisão de arquitetura, isto pesa mais do que a maioria das análises Kafka vs Pulsar admite. O custo de uma plataforma desconhecida não se paga no momento da escolha. Paga-se às 3 da manhã, dezoito meses depois, por quem estiver de prevenção.
Kafka vs Pulsar: qual deve escolher?
- Escolha o Kafka quando quiser o maior ecossistema e a maior bolsa de talento, quando a sua carga for um pipeline de alto débito sem complicações, quando quiser o menor número de tipos de processo para operar ou quando precisar de um serviço gerido em qualquer cloud sem um contrato com terceiros.
- Escolha o Pulsar quando a multi-tenancy for um requisito do produto e não um extra simpático, quando precisar de geo-replicação integrada por namespace entre várias regiões, quando o armazenamento e a computação precisarem genuinamente de escalar de forma independente, ou quando os dados de um único tópico não couberem confortavelmente nos discos de um broker.
- Não migre por elegância. A arquitetura do Pulsar é mais limpa em aspetos fáceis de admirar num quadro branco. Se não conseguir identificar a restrição concreta que ela elimina para a sua carga, a migração vai custar-lhe ferramentas, nova formação e conhecimento institucional em troca de um diagrama de que gosta mais.
O resumo honesto: este não é um caso em que um dos sistemas esteja atrasado. As lacunas que costumavam tornar óbvia a escolha entre Kafka e Pulsar, num sentido ou noutro — ZooKeeper, tiered storage, semântica de filas — diminuíram todas desde 2024. O que resta é uma verdadeira questão de arquitetura, sobre se precisa que o serviço e o armazenamento escalem separadamente, e uma verdadeira questão organizacional, sobre qual das plataformas a sua equipa consegue realmente operar.
O Kafka já alcançou o Pulsar em multi-tenancy e tiered storage?
No armazenamento, em grande parte, sim. Na tenancy, não.
O tiered storage do Kafka move os segmentos de log fechados do disco local para object storage, continuando o broker a ser a única coisa com que o cliente comunica. Os consumidores que leem offsets recentes acedem ao conjunto quente local; os que leem offsets mais antigos desencadeiam um fetch remoto que o broker devolve através da mesma fetch API. A retenção local passa a ser uma decisão de dimensionamento de cache, e não de capacidade, e uma partição pode guardar meses de histórico sem precisar de meses de disco. A forma como interagem as definições de retenção local e remota é tratada no nosso guia sobre a política de retenção do Kafka.
O Pulsar chegou aqui anos antes, através dos offloaders do BookKeeper, e mantém duas vantagens reais: a transferência é uma política de namespace e não uma definição por tópico, e, como os bookies sempre foram a camada de armazenamento, o disco dos brokers nunca entrou na equação. A implementação do Kafka ainda tem arestas. Os tópicos compactados não podem passar para o tiered storage, as leituras de recuperação de dados frios pagam a latência do fetch remoto e o plugin de armazenamento remoto é algo que tem de escolher e operar. Para retenções longas num fluxo de eventos comum, os dois estão suficientemente próximos para que não seja o armazenamento a decidir a plataforma.
Com a tenancy é diferente. No Pulsar, um tenant é dono de namespaces, um namespace é dono de tópicos, e as quotas, a retenção, a transferência, a replicação e as permissões estão associadas ao namespace. O Kafka chega lá quase todo com convenções: um prefixo de tópico por equipa, ACLs com prefixo sobre esse padrão, quotas por principal e um cluster separado quando uma equipa faz barulho suficiente para prejudicar as outras. Mas é disciplina por cima de um namespace plano, e não um modelo que o broker imponha. Uma ACL mal escrita pode abrir um prefixo à equipa errada, e nada agrega as definições de uma equipa num único objeto que se possa inspecionar.
O nosso veredicto: o Kafka fechou a diferença no armazenamento e a maior parte da diferença operacional. O Pulsar continua a ter o modelo de tenancy mais limpo, e o preço é o BookKeeper, mais o seu metadata store, a funcionar como um segundo sistema stateful ao lado dos brokers.
Nos nossos projetos, são muito menos as organizações que precisam de tenancy de primeira classe do que as que perguntam por ela. Importa quando uma equipa de plataforma serve dezenas de equipas aplicacionais com isolamento rigoroso, imputação de custos e aprovisionamento self-service. Não importa numa empresa com três ou quatro equipas produtoras na mesma escala de prevenção, que é o retrato da maioria das empresas com que trabalhamos.
BookKeeper vs o log do Kafka: porque é a camada de armazenamento que decide a operação
Quase todas as diferenças operacionais entre os dois remontam ao sítio onde ficam os bytes.
Um broker Kafka é dono das suas partições: segmentos de log no seu disco local, réplicas nos discos locais de outros brokers, controllers KRaft a registar quem lidera o quê. A capacidade de armazenamento é a capacidade do broker. Quando um disco enche ou um broker aquece demasiado, a solução é a reatribuição de partições, que copia os dados das réplicas através da rede e espera que recuperem o atraso. É limitada, concorre com o tráfego real e demora horas numa partição grande. Acertar à partida no número de partições e na distribuição das chaves, como explicamos em estratégia de partições no Kafka, serve em grande medida para evitar isso mais tarde.
Os brokers Pulsar não guardam dados. Um tópico é um managed ledger, cada ledger é distribuído por um ensemble de bookies, e um novo bookie é simplesmente incluído no ledger seguinte. Escalar o armazenamento é adicionar bookies: nada se move, nenhum rebalance é executado e a falha de um broker é uma mudança de propriedade medida em segundos, e não uma recuperação de atraso de réplicas.
A fatura é um segundo sistema stateful com o seu próprio vocabulário. Cada ledger tem um ensemble size, um write quorum e um ack quorum, e a relação entre os três define tanto a durabilidade como o número de bookies que se podem perder. Quando um bookie morre, o autorecovery tem de detetar os ledgers sub-replicados e voltar a replicá-los; mal configurado ou desativado, como já encontrámos em clusters que herdámos, o cluster funciona discretamente com menos redundância do que todos julgam. A recuperação dos ledgers num failover tem de isolar (fence) o antigo dono e fixar a última entrada antes de o novo broker servir leituras.
Os caminhos de escrita têm formas diferentes. Uma escrita no Kafka chega à page cache do líder, propaga-se aos seguidores e é confirmada quando as réplicas in-sync a têm: um salto a partir do cliente, com a durabilidade definida por acks e min.insync.replicas. Uma escrita no Pulsar vai para o broker, que escreve no ensemble em paralelo; cada bookie faz fsync de uma entrada de journal antes da escrita no ledger, e o broker confirma ao atingir o ack quorum. Dois saltos e um fsync no caminho crítico explicam porque é que a latência de escrita p99 do Pulsar é mais alta do que a do Kafka com a mesma durabilidade.
A deteção de falhas segue a mesma divisão. Um problema no Kafka é normalmente uma partição sub-replicada ou um broker que deixou de liderar, e todas as stacks de monitorização conhecem essas métricas. As falhas do Pulsar escondem-se na camada que não está a observar: brokers saudáveis, bookies saudáveis e o autorecovery silenciosamente atrasado.
Essa é a realidade em termos de pessoas. Engenheiros que já operaram Kafka em produção são comuns. Engenheiros capazes de raciocinar sobre quóruns do BookKeeper às 3 da manhã são raros. As nossas notas sobre Kafka em Kubernetes cobrem as definições de armazenamento que reduzem a diferença, mas nada a elimina.
A arquitetura do Pulsar justifica a sua complexidade quando é preciso escalar o armazenamento independentemente do serviço, operar dezenas de milhares de tópicos ou ter tenancy por namespace para evitar um cluster por equipa. Caso contrário, a camada de armazenamento mais simples do Kafka é a melhor troca, e podemos ajudá-lo a desenhá-la ou a mantê-la a funcionar.
Peça uma avaliação de streaming independente de fabricantes
Está a avaliar uma plataforma de streaming, ou a dar suporte a uma que já opera? A AceMQ realiza avaliações independentes de fabricantes que partem da carga de trabalho e não do diagrama de arquitetura — conheça a nossa consultoria Kafka e o suporte e consultoria Apache Kafka, ou fale com um engenheiro da AceMQ.
Perguntas frequentes
Qual é a principal diferença entre Kafka e Pulsar?
Os brokers Kafka detêm tanto o serviço como o armazenamento das partições que alojam, pelo que escalar o armazenamento e escalar a computação são a mesma operação. O Pulsar separa-os: brokers stateless servem o tráfego e o Apache BookKeeper armazena os dados como ledgers segmentados. Essa única decisão está na origem da maior parte das outras diferenças.
O Pulsar é mais difícil de operar do que o Kafka?
Tem mais peças móveis — brokers, bookies e um metadata store, face aos brokers e controllers do Kafka desde que o ZooKeeper foi removido na 4.0. Se isso é mais difícil depende de os componentes adicionais lhe trazerem alguma coisa. Para um pipeline single-tenant, normalmente não trazem.
O Pulsar ainda precisa do ZooKeeper?
Não necessariamente. O Pulsar suporta vários backends de metadata store e recomenda agora o Oxia, continuando o ZooKeeper suportado e pronto para produção. As comparações mais antigas que assentam no facto de o Pulsar precisar do ZooKeeper e o Kafka não estão desatualizadas dos dois lados.
Qual é melhor para multi-tenancy?
O Pulsar, claramente. Os tenants e os namespaces são entidades de primeira classe, os tópicos são endereçados como persistent://tenant/namespace/topic e a retenção e as quotas de armazenamento aplicam-se por namespace. O Kafka tem ACLs e quotas, mas não tem hierarquia de tenancy, pelo que o isolamento é uma convenção que se impõe, e não uma estrutura que se obtém.
O Kafka suporta filas como as shared subscriptions do Pulsar?
Sim, a partir do Apache Kafka 4.2. As share groups (KIP-932) ficaram prontas para produção nessa versão, depois do early access na 4.0 e da preview na 4.1. Permitem consumo cooperativo sem fixar uma partição a um único consumidor, com acknowledgement por registo — mais próximo da shared subscription do Pulsar do que de um consumer group clássico.
Ambos suportam tiered storage?
Sim. O tiered storage do Kafka (KIP-405) ficou pronto para produção na 3.9. O Pulsar transfere os segmentos selados para S3, Google Cloud Storage, Azure Blob, Alibaba OSS ou um sistema de ficheiros, por tamanho, idade, comando manual ou política de namespace.
Qual tem melhor geo-replicação?
O Pulsar tem-na integrada, configurada por namespace, com padrões full-mesh, ativo-ativo e de agregação e com opções assíncronas e síncronas. O Kafka replica entre clusters com o MirrorMaker 2 ou um equivalente comercial, que funciona bem mas é um componente separado que tem de operar e monitorizar.
Devo migrar de Kafka para Pulsar?
Só por uma razão concreta que consiga identificar — verdadeira multi-tenancy, geo-replicação por namespace ou escalabilidade independente do armazenamento e da computação. Migrar por elegância arquitetónica significa pagar um custo real em ferramentas, contratação e conhecimento institucional por um benefício que pode nunca vir a usar.
O Pulsar é mais simples de operar do que o Kafka?
Não. Os brokers stateless do Pulsar tornam as falhas de brokers individuais e a expansão do armazenamento mais simples do que a reatribuição de partições do Kafka, mas a plataforma, no seu conjunto, tem mais componentes stateful: brokers, bookies do BookKeeper e um metadata store, cada um com os seus próprios modos de falha, organização de discos e monitorização. O Kafka em KRaft é um único tipo de processo com discos locais. Se a sua equipa já opera Kafka, o Pulsar representa um aumento líquido da superfície operacional, e as competências para operar bem o BookKeeper são mais difíceis de contratar do que as de Kafka.
Fontes
- Apache Pulsar — Visão geral da arquitetura (brokers, BookKeeper, managed ledgers, metadata store)
- Apache Pulsar — Multi-inquilino
- Apache Pulsar — Geo-replicação
- Apache Pulsar — Tiered storage
- Apache Kafka — Anúncio da versão 4.0.0 (só KRaft, KIP-848 em GA)
- Apache Kafka — Anúncio da versão 4.2.0 (share groups prontas para produção)
- Apache Kafka — Tiered storage
Talk to an engineer
Need a hand with Kafka?
Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.
Guias, comparações e estudos

