BlogKafka

Kafka vs. Pulsar: arquitetura, operação e qual escolher

Scott Sternloff

Por Scott Sternloff, Arquiteto corporativo sênior

LinkedIn · Atualizado em · 16 min de leitura

Kafka vs. Pulsar: arquitetura, operação e qual escolher
On this page

A decisão entre Kafka e Pulsar se resume a uma escolha de arquitetura. Os brokers do Kafka cuidam tanto do serving quanto do storage das partições que hospedam. O Pulsar separa as duas coisas: brokers stateless atendem o tráfego enquanto o Apache BookKeeper armazena os dados como ledgers segmentados. Todo o resto, da multi-tenancy ao comportamento de escala, decorre dessa separação.

Os dois são maduros e os dois rodam em produção em escala séria. Nenhum vence a comparação Kafka vs. Pulsar de forma absoluta, e qualquer artigo que declare um vencedor normalmente foi escrito por alguém que vende o outro.

As duas plataformas são exigentes de operar. A AceMQ oferece suporte Kafka e suporte Apache Pulsar 24/7, incluindo BookKeeper e ZooKeeper, com metas de resposta a partir de 15 minutos, conforme o plano.

Kafka vs. Pulsar: a separação arquitetural

O modelo de storage do Kafka é um log particionado e replicado, gravado no disco local do broker. Cada partição tem um broker líder e réplicas seguidoras, e cada uma delas guarda a partição inteira no próprio volume. Serving e storage ficam na mesma máquina por design, e é isso que torna o Kafka rápido e o rebalanceamento caro.

O modelo do Pulsar é em camadas. A documentação descreve os brokers como um "componente stateless": eles não são donos de nenhum dado. O storage fica no Apache BookKeeper, "um sistema distribuído de write-ahead log (WAL)", em que os dados de um tópico são gravados como uma série de ledgers. Um ledger é "uma estrutura de dados append-only com um único escritor, atribuída a vários nós de storage do BookKeeper, os bookies", e o "managed ledger" é a camada de storage de um único tópico, que costura esses ledgers.

Três consequências decorrem dessa separação, e elas explicam a maior parte do que as equipes percebem ao rodar Kafka e Pulsar lado a lado:

  • A falha de um broker é barata no Pulsar. Um broker não é dono de dados, então a propriedade do tópico passa para outro broker sem copiar nada. No Kafka, perder um broker significa uma eleição de líder e, se o broker não voltar com o seu disco, a reconstrução completa de uma réplica pela rede.
  • As partições do Kafka são limitadas por uma máquina. Uma partição precisa caber nos discos de cada broker que guarda uma réplica. Os segmentos do Pulsar ficam espalhados pelos bookies, então um tópico não é limitado pela capacidade de nenhum nó individual.
  • O Kafka escala de forma mais previsível. Um tipo de componente, um modo de falha para analisar, um conjunto de métricas. A independência entre computação e storage do Pulsar é real, e a superfície extra que ela cria também é.

O tiered storage do Kafka suaviza bastante a primeira restrição (falamos disso mais abaixo), mas a diferença de fundo sobre o que um broker é não desaparece.

Qual é mais fácil de operar no dia a dia?

É aqui que a maioria das comparações publicadas entre Kafka e Pulsar está desatualizada, porque os dois projetos mudaram a resposta recentemente. Também é a seção que vale conferir de novo nas release notes antes de se comprometer com qualquer coisa.

O Kafka removeu o ZooKeeper. O Apache Kafka 4.0, lançado em março de 2025, é a primeira versão principal a rodar sem ele: somente no modo KRaft, com os controllers como processos Kafka em vez de um ensemble separado. O Pulsar, por sua vez, agora suporta vários backends de metadados e recomenda o Oxia, com o ZooKeeper ainda suportado e pronto para produção. Então a velha frase "o Pulsar precisa do ZooKeeper, o Kafka não" está errada dos dois lados hoje.

O que continua verdadeiro é a quantidade de componentes.

Apache KafkaApache Pulsar
Camada de servingBrokers (donos dos dados das suas partições)Brokers (stateless)
Camada de storageOs mesmos brokers, diretórios de log locaisBookies do BookKeeper, ledgers segmentados
Metadados / coordenaçãoControllers KRaft (ZooKeeper removido na 4.0)Metadata store (Oxia recomendado, ZooKeeper suportado), mais um configuration store para o estado de toda a instância
Processos distintos para rodar2 papéis (broker, controller)3+ (broker, bookie e metadata store)
Domínio de falha a analisarLiderança de partições e ISRPropriedade dos brokers, posicionamento dos ledgers, ensembles de bookies
Escala do storageAdicionar brokers ou usar tiered storageAdicionar bookies independentemente dos brokers

Três tipos de processo em vez de dois não é um motivo para descartar, mas também não sai de graça. Os bookies têm o seu próprio planejamento de capacidade, o seu próprio layout de discos de journal e de ledger e o seu próprio comportamento em falhas, e o número de pessoas que já depuraram um ensemble do BookKeeper às 3h da manhã é muito menor do que o das que já depuraram um broker Kafka.

Do lado do Kafka, a dor operacional se concentra em um ponto específico: o rebalanceamento de consumer groups. Se você ainda não enfrentou isso, o que dispara um rebalance no Kafka e como diagnosticar o consumer lag no Kafka tratam do assunto. O Kafka 4.0 também trouxe para disponibilidade geral o novo protocolo de rebalance de consumidores (KIP-848), ativado por padrão no servidor e com os consumidores aderindo via group.protocol=consumer, o que elimina a barreira global stop-the-world que causava a maior parte dos estragos.

Se você roda qualquer um dos dois em Kubernetes, saiba que a separação do storage muda bastante o formato do deploy; rodando Kafka no EKS, AKS e GKE cobre o lado do Kafka.

Como a multi-tenancy difere entre Kafka e Pulsar?

Esta é a vantagem estrutural mais clara do Pulsar, e não chega nem perto de ser apertada.

O Pulsar foi construído para ser multi-tenant. Um tenant é uma unidade administrativa para alocar capacidade e aplicar autenticação ou autorização, um tenant contém namespaces e os tópicos são endereçados como persistent://tenant/namespace/topic. As policies que importam na operação, como retenção e cotas de storage, se aplicam no nível do namespace, então a retenção descontrolada de uma equipe é contida por configuração, e não por uma conversa.

O Kafka tem autenticação, ACLs e cotas de cliente, e dá para ir longe com uma convenção de nomes de tópicos e ACLs disciplinadas. Mas não existe hierarquia de tenancy. O isolamento é algo que você impõe; no Pulsar, é algo que você recebe.

Se você está construindo uma plataforma em que cada cliente ou cada equipe interna recebe a sua própria fatia, essa diferença se acumula a cada trimestre. Se você roda um pipeline para uma equipe, ela não vale absolutamente nada.

Como se comparam a geo-replicação e o tiered storage?

Geo-replicação. O Pulsar já vem com ela. A replicação é configurada por namespace e suporta topologias full-mesh, active-active e de agregação. O padrão é assíncrono (as mensagens são persistidas no cluster local e depois replicadas pelos brokers), com replicação síncrona disponível via BookKeeper entre datacenters, ao custo de latência. Um quórum separado de configuration store coordena o estado de toda a instância que faz isso funcionar.

O Kafka replica entre clusters com o MirrorMaker 2 ou um equivalente de fornecedor, como o Cluster Linking da Confluent. Funciona, é amplamente implantado e também é um sistema separado para implantar, monitorar e entender, incluindo a tradução de offsets, que é onde mora a maioria das surpresas de failover de consumidores entre clusters.

Tiered storage. Os dois têm, e os dois estão prontos para produção.

  • A implementação do Kafka (KIP-405) ficou pronta para produção na 3.9, descarregando os segmentos de log mais antigos para um storage externo plugável enquanto os brokers mantêm os dados recentes localmente.
  • O Pulsar descarrega segmentos selados, somente leitura, para Amazon S3, Google Cloud Storage, Azure Blob Storage, Alibaba Cloud OSS ou um sistema de arquivos. O descarregamento pode ser disparado pelo tamanho do backlog, pela idade das mensagens, por um comando administrativo manual ou por uma policy no nível do namespace, e roda de forma assíncrona em segundo plano.

A versão do Pulsar é mais madura simplesmente porque chegou anos antes, e o seu storage baseado em segmentos se encaixava naturalmente nela. A do Kafka fechou a maior parte da diferença prática. Para uma nova implantação em 2026, o tiered storage não é mais o fator decisivo entre Kafka e Pulsar que era em 2022.

E as filas e as confirmações por mensagem?

Historicamente, esta era a lacuna de capacidade mais real entre Kafka e Pulsar, e foi a que se fechou mais recentemente.

O Pulsar oferece quatro tipos de subscription: exclusive (o padrão, um consumidor), failover (um primário com standbys), shared (round-robin entre consumidores, cada mensagem para exatamente um) e key_shared (mensagens com a mesma chave sempre vão para o mesmo consumidor). Ele suporta confirmação individual e cumulativa, confirmação negativa, retry letter topics e dead letter topics, além de deduplicação de mensagens no servidor. Esse conjunto cobre padrões de work queue que um consumer group clássico do Kafka não consegue expressar, porque uma partição do Kafka é atribuída a exatamente um consumidor do grupo.

O Kafka respondeu com os share groups (KIP-932). Eles entraram em early access na 4.0, em preview na 4.1 e ficaram prontos para produção no Apache Kafka 4.2. Os consumidores de um share group consomem de forma cooperativa, sem fixar uma partição a um único consumidor, com confirmação por registro e contagem de tentativas de entrega. Isso fica muito mais perto da shared subscription do Pulsar e elimina o que costumava ser um motivo real para escolher o Pulsar em cargas com formato de fila.

Se a sua avaliação se baseia em uma comparação escrita antes de 2026, confira esta seção com as release notes atuais: é a parte que muda mais rápido em toda a comparação.

Qual tem o maior ecossistema e mais profissionais disponíveis?

O Kafka, por uma margem enorme, e não é uma questão apertada que valha a pena suavizar.

O Kafka Connect tem centenas de conectores. Kafka Streams e ksqlDB são amplamente implantados. Todo grande processador de streams (Flink, Spark e os demais) trata o Kafka como fonte e destino de primeira classe. Todo fornecedor de observabilidade entrega dashboards de Kafka. Toda nuvem oferece um Kafka gerenciado ou um endpoint compatível com Kafka. E, o mais importante, você consegue contratar pessoas que já rodaram Kafka em produção.

O Pulsar tem equivalentes reais: conectores Pulsar IO, Pulsar Functions para processamento leve e Pulsar SQL para consultar tópicos. O catálogo é menor, a superfície de integração com terceiros é mais estreita e o conhecimento operacional está concentrado em menos pessoas e em um conjunto menor de fornecedores.

Em uma decisão de arquitetura, isso importa mais do que a maioria das análises de Kafka vs. Pulsar admite. O custo de uma plataforma desconhecida não é pago no momento da escolha. Ele é pago às 3h da manhã, dezoito meses depois, por quem estiver de plantão.

Kafka vs. Pulsar: qual você deve escolher?

  • Escolha o Kafka quando quiser o maior ecossistema e a maior oferta de profissionais, quando a sua carga for um pipeline direto de alto throughput, quando quiser operar o menor número de tipos de processo ou quando precisar de um serviço gerenciado em qualquer nuvem sem um contrato com terceiros.
  • Escolha o Pulsar quando a multi-tenancy for um requisito do produto, e não algo desejável, quando precisar de geo-replicação nativa por namespace entre várias regiões, quando storage e computação realmente precisarem escalar de forma independente ou quando os dados de um único tópico não couberem com folga nos discos de um broker.
  • Não migre pela elegância. A arquitetura do Pulsar é mais limpa de formas fáceis de admirar em um quadro branco. Se você não consegue nomear a restrição específica que ela remove para a sua carga, a migração vai custar ferramentas, retreinamento e conhecimento institucional em troca de um diagrama de que você gosta mais.

O resumo honesto: este não é um caso em que um dos sistemas está atrasado. As lacunas que tornavam a escolha entre Kafka e Pulsar óbvia em uma direção ou na outra (ZooKeeper, tiered storage, semântica de filas) diminuíram desde 2024. O que sobra é uma questão real de arquitetura, sobre precisar ou não que serving e storage escalem separadamente, e uma questão real de organização, sobre qual plataforma a sua equipe consegue de fato operar.

O Kafka alcançou o Pulsar em multi-tenancy e tiered storage?

Em storage, quase totalmente. Em tenancy, não.

O tiered storage do Kafka move os segmentos de log fechados do disco local para o object storage enquanto o broker continua sendo a única coisa com que o cliente conversa. Consumidores que leem offsets recentes acessam o conjunto quente local; consumidores que leem offsets antigos disparam um fetch remoto que o broker devolve pela mesma API de fetch. A retenção local vira uma decisão de dimensionamento de cache, e não de capacidade, e uma partição pode guardar meses de histórico sem meses de disco. A forma como as configurações de retenção local e remota interagem é explicada no nosso guia de política de retenção do Kafka.

O Pulsar chegou aqui anos antes, com os offloaders do BookKeeper, e mantém duas vantagens reais: o descarregamento é uma policy de namespace, e não uma configuração por tópico, e, como os bookies sempre foram a camada de storage, o disco do broker nunca entrou na conta. A implementação do Kafka ainda tem arestas. Tópicos compactados não podem ir para o tiered storage, leituras frias de recuperação pagam a latência do fetch remoto e o plugin de storage remoto é algo que você escolhe e opera. Para retenção longa em um stream de eventos comum, os dois estão próximos o bastante para que o storage não decida a plataforma.

Tenancy é outra história. No Pulsar, um tenant é dono de namespaces, um namespace é dono de tópicos, e cotas, retenção, offload, replicação e permissões ficam ligadas ao namespace. O Kafka chega quase lá com convenções: um prefixo de tópico por equipe, ACLs com prefixo nesse padrão, cotas por principal e um cluster separado quando uma equipe é barulhenta o bastante para prejudicar as outras. Mas é disciplina em cima de um namespace plano, e não um modelo que o broker impõe. Uma ACL digitada errado pode abrir um prefixo para a equipe errada, e nada reúne as configurações de uma equipe em um único objeto que você possa inspecionar.

O nosso veredito: o Kafka fechou a lacuna de storage e a maior parte da lacuna operacional. O Pulsar ainda tem o modelo de tenancy mais limpo, e o preço é o BookKeeper e o seu metadata store rodando como um segundo sistema stateful ao lado dos brokers.

Nos nossos projetos, bem menos organizações precisam de tenancy de primeira classe do que as que perguntam sobre ela. Ela importa quando uma equipe de plataforma atende dezenas de equipes de aplicação com isolamento rígido, chargeback e provisionamento self-service. Não importa para uma empresa com três ou quatro equipes produtoras na mesma escala de plantão, o que descreve a maioria das empresas com que trabalhamos.

BookKeeper vs. o log do Kafka: por que a camada de storage define a operação

Quase toda diferença operacional entre os dois volta à questão de onde os bytes ficam.

Um broker Kafka é dono das suas partições: segmentos de log no seu disco local, réplicas nos discos locais de outros brokers e controllers KRaft acompanhando quem lidera o quê. Capacidade de storage é capacidade de broker. Quando um disco enche ou um broker fica sobrecarregado, a correção é a reatribuição de partições, que copia os dados das réplicas pela rede e espera que elas se atualizem. Ela é limitada por throttling, compete com o tráfego real e leva horas em uma partição grande. Acertar desde o início a quantidade de partições e a distribuição das chaves, como explicamos em estratégia de partições no Kafka, serve em grande parte para evitar isso mais tarde.

Os brokers do Pulsar não guardam dados. Um tópico é um managed ledger, cada ledger é distribuído em faixas por um ensemble de bookies e um bookie novo simplesmente entra no próximo ledger. Escalar o storage é adicionar bookies: nada se move, nenhum rebalance roda, e a falha de um broker é uma mudança de propriedade medida em segundos, e não a atualização de uma réplica.

A conta é um segundo sistema stateful com vocabulário próprio. Todo ledger tem um ensemble size, um write quorum e um ack quorum, e a relação entre os três define tanto a durabilidade quanto quantos bookies você pode perder. Quando um bookie morre, o autorecovery precisa detectar os ledgers sub-replicados e replicá-los de novo; mal configurado ou desativado, algo que já encontramos em clusters que herdamos, o cluster roda em silêncio com menos redundância do que todos acreditam. A recuperação de ledgers no failover precisa isolar (fencing) o dono antigo e resolver a última entrada antes que o novo broker atenda leituras.

Os caminhos de escrita têm formatos diferentes. Um produce no Kafka cai no page cache do líder, é distribuído para os seguidores e é confirmado assim que as réplicas em sincronia o recebem: um salto a partir do cliente, com a durabilidade definida por acks e min.insync.replicas. Um produce no Pulsar vai para o broker, que grava no ensemble em paralelo; cada bookie faz fsync de uma entrada de journal antes da gravação no ledger, e o broker confirma ao atingir o ack quorum. Dois saltos e um fsync no caminho crítico explicam por que a latência de escrita p99 do Pulsar fica acima da do Kafka com a mesma durabilidade.

A descoberta de falhas segue a mesma divisão. Um problema no Kafka normalmente é uma partição sub-replicada ou um broker que deixou de liderar, e toda stack de monitoramento conhece essas métricas. As falhas do Pulsar se escondem na camada que você não está observando: brokers saudáveis, bookies saudáveis e o autorecovery silenciosamente atrasado.

Essa é a realidade das equipes. Engenheiros que já rodaram Kafka em produção são comuns. Engenheiros capazes de raciocinar sobre quóruns do BookKeeper às 3h da manhã são raros. As nossas notas sobre Kafka no Kubernetes cobrem as configurações de storage que reduzem a diferença, mas nada a elimina.

A arquitetura do Pulsar justifica a sua complexidade quando você precisa escalar o storage independentemente do serving, rodar dezenas de milhares de tópicos ou precisa de tenancy por namespace para evitar um cluster por equipe. Fora isso, a camada de storage mais simples do Kafka é a melhor troca, e podemos ajudar você a projetá-la ou a mantê-la rodando.

Faça uma avaliação de streaming neutra em relação a fornecedores

Está avaliando uma plataforma de streaming ou dando suporte a uma que já roda? A AceMQ faz avaliações neutras em relação a fornecedores, que partem da carga de trabalho e não do diagrama de arquitetura; veja consultoria em Kafka e suporte e consultoria em Apache Kafka ou fale com um engenheiro da AceMQ.

Perguntas frequentes

Qual é a principal diferença entre Kafka e Pulsar?

Os brokers do Kafka cuidam tanto do serving quanto do storage das partições que hospedam, então escalar o storage e escalar a computação são a mesma operação. O Pulsar separa as duas coisas: brokers stateless atendem o tráfego e o Apache BookKeeper armazena os dados como ledgers segmentados. Essa única decisão explica a maior parte das outras diferenças.

O Pulsar é mais difícil de operar do que o Kafka?

Ele tem mais peças móveis: brokers, bookies e um metadata store, contra os brokers e controllers do Kafka desde que o ZooKeeper foi removido na 4.0. Se isso é mais difícil depende de os componentes extras trazerem algum benefício. Para um pipeline single-tenant, normalmente não trazem.

O Pulsar ainda precisa do ZooKeeper?

Não necessariamente. O Pulsar suporta vários backends de metadata store e hoje recomenda o Oxia, com o ZooKeeper ainda suportado e pronto para produção. Comparações mais antigas que se apoiam na ideia de que o Pulsar precisa do ZooKeeper e o Kafka não estão desatualizadas dos dois lados.

Qual é melhor para multi-tenancy?

O Pulsar, claramente. Tenants e namespaces são cidadãos de primeira classe, os tópicos são endereçados como persistent://tenant/namespace/topic, e a retenção e as cotas de storage se aplicam por namespace. O Kafka tem ACLs e cotas, mas não tem hierarquia de tenancy, então o isolamento é uma convenção que você impõe, e não uma estrutura que você recebe pronta.

O Kafka suporta filas como as shared subscriptions do Pulsar?

Sim, a partir do Apache Kafka 4.2. Os share groups (KIP-932) ficaram prontos para produção nessa versão, depois do early access na 4.0 e do preview na 4.1. Eles permitem consumo cooperativo sem fixar uma partição a um único consumidor, com confirmação por registro, o que fica mais perto da shared subscription do Pulsar do que de um consumer group clássico.

Os dois suportam tiered storage?

Sim. O tiered storage do Kafka (KIP-405) ficou pronto para produção na 3.9. O Pulsar descarrega os segmentos selados para S3, Google Cloud Storage, Azure Blob, Alibaba OSS ou um sistema de arquivos, por gatilho de tamanho, de idade, de um comando manual ou de uma policy de namespace.

Qual tem a melhor geo-replicação?

O Pulsar tem geo-replicação nativa, configurada por namespace, com padrões full-mesh, active-active e de agregação e opções assíncronas e síncronas. O Kafka replica entre clusters usando o MirrorMaker 2 ou um equivalente comercial, o que funciona bem, mas é um componente separado que você precisa rodar e monitorar.

Devo migrar do Kafka para o Pulsar?

Só por um motivo específico que você consiga nomear: multi-tenancy de verdade, geo-replicação por namespace ou escala independente de storage e computação. Migrar pela elegância da arquitetura significa pagar um custo real em ferramentas, contratação e conhecimento institucional por um benefício que você talvez nem use.

O Pulsar é mais simples de operar do que o Kafka?

Não. Os brokers stateless do Pulsar tornam as falhas de brokers individuais e a expansão do storage mais simples do que a reatribuição de partições do Kafka, mas a plataforma como um todo tem mais componentes stateful: brokers, bookies do BookKeeper e um metadata store, cada um com seus próprios modos de falha, layout de disco e monitoramento. O Kafka em KRaft é um único tipo de processo com discos locais. Se a sua equipe já roda Kafka, o Pulsar representa um aumento líquido da superfície operacional, e profissionais que sabem operar bem o BookKeeper são mais difíceis de contratar do que profissionais de Kafka.

Fontes

Scott Sternloff

Autor

Scott SternloffArquiteto corporativo sênior

Arquiteto corporativo sênior na AceMQ. Escreve a cobertura técnica deste blog: arquitetura, clustering e migrações de RabbitMQ, Kafka e Redis.

Talk to an engineer

Need a hand with Kafka?

Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.

Guias, comparativos e pesquisas

Aprofunde-se em Kafka

Consulta gratuita

Um olhar especializado sobre seu cluster Kafka

Seja para resolver um incidente em produção, planejar uma migração ou ter uma segunda opinião sobre sua arquitetura, nossa equipe está pronta. Sem discurso de vendas, só respostas.

Envie um e-mail