Kafka

O Kafka 4.0 (KRaft, sem ZooKeeper) está pronto para produção?

Scott Sternloff

Por Scott Sternloff, Arquiteto corporativo sênior

LinkedIn · Atualizado em

ZooKeeperexternalL23KRaft QuorumZooKeeper → KRaft Consensus
Nesta página

O Kafka 4.0 representa a mudança arquitetural mais significativa da história do projeto: o ZooKeeper, o serviço externo de coordenação do qual o Kafka dependia desde as primeiras versões, deixou de existir. Os metadados do cluster e o consenso entre controllers agora são tratados internamente pelo KRaft (Kafka Raft), o protocolo de consenso do próprio Kafka baseado em Raft. É uma simplificação real do modelo operacional (um sistema distribuído a menos para rodar e ajustar), mas "arquitetura major recém-lançada" e "testada em batalha para o seu workload específico" são afirmações diferentes.

Este artigo mostra o que realmente mudou do ponto de vista operacional, com base em um caso real de produção que enfrentou um problema de desempenho significativo especificamente no Kafka 4.0.0.

O modo KRaft em si é estável ou ainda é considerado uma tecnologia inicial ou em beta?

O modo KRaft é a arquitetura padrão de produção no Kafka 4.0; a esta altura, não é um recurso em beta nem em preview. Organizações já o estão implantando em produção, inclusive em casos de uso exigentes: uma organização adotou o Kafka 4.0.0 em uma plataforma de processamento de transações do setor bancário justamente porque ele elimina a dependência do ZooKeeper, tratando essa simplificação arquitetural como uma escolha tecnológica deliberada e voltada para o futuro, e não como um risco a evitar.

Dito isso, "a arquitetura é de nível de produção" e "todos os recursos se comportam exatamente como no modelo baseado em ZooKeeper" são afirmações diferentes, e o caso real citado ao longo deste artigo ilustra exatamente essa lacuna.

O que de fato deu errado no caso real com Kafka 4.0 citado aqui?

Uma regressão de desempenho significativa e específica, ligada às transações do Kafka. Uma organização que rodava uma plataforma de processamento de transações no Kafka 4.0.0, com Spring Boot 3.2 e Java 17, havia medido um throughput de cerca de 320.000 transações por hora usando a mensageria padrão do Kafka. Depois de adicionar capacidade de recuperação ao sistema, implementada com o recurso de mensageria transacional do Kafka, o throughput caiu para 40.000 a 50.000 transações por hora e, o que é mais grave, aumentar o número de instâncias do serviço não o melhorou. O sistema ficava preso no mesmo teto de throughput independentemente do escalonamento horizontal, um forte sinal de que o gargalo era estrutural (provavelmente relacionado ao coordinator), e não uma simples disputa por recursos.

Quando a equipe testou o mesmo workload sem as transações do Kafka, o desempenho voltou ao normal, o que isolou a regressão especificamente no caminho da mensageria transacional, e não no modo KRaft, na configuração dos brokers ou no código da aplicação de forma geral.

Isso significa que as transações do Kafka não funcionam no modo KRaft?

Não é que não funcionem, mas significa que as transações, especificamente, exigem uma validação mais profunda antes de você adotá-las em um workload sensível a desempenho, já que o comportamento do transaction coordinator no KRaft é arquiteturalmente diferente do que existia em clusters baseados em ZooKeeper, e essa diferença pode se manifestar exatamente como esse tipo de teto de throughput em certos padrões de uso.

O que sabemos a partir deste caso:

  • O teto de throughput era reproduzível e consistente (não intermitente)
  • Ele não respondia ao escalonamento horizontal, o que descarta a simples falta de recursos como causa
  • Remover as transações do mesmo workload restaurava o throughput normal

Para onde isso aponta no diagnóstico: o comportamento do transaction coordinator (como o estado transacional é rastreado, confirmado e coordenado no cluster) é um forte candidato a gargalo, já que é o componente mais diretamente ligado à diferença de comportamento observada entre "transações ligadas e desligadas". Um trabalho estruturado de diagnóstico para esse tipo de problema examinaria primeiro o posicionamento do transaction coordinator, a configuração de timeout das transações e a cardinalidade e o particionamento do transactional.id.

Devo evitar totalmente as transações do Kafka na versão 4.0?

Não necessariamente, mas valide o seu padrão específico de uso transacional sob carga realista antes de adotá-lo em um workload de produção crítico e sensível à latência, em vez de supor que as orientações gerais sobre transações do Kafka presentes na documentação anterior à 4.0 continuam valendo sem alterações.

Se o seu caso de uso exige transações do Kafka (semântica exactly-once entre produção e consumo ou escritas atômicas em várias partições):

  • Faça teste de carga do caminho transacional especificamente e de forma separada da sua linha de base de throughput não transacional, usando uma taxa de transações e um padrão de transactional.id representativos
  • Teste se o escalonamento horizontal das instâncias de producer e consumer realmente melhora o throughput transacional no seu ambiente: se não melhorar, é o mesmo sinal de alerta observado no caso acima e vale investigar antes de ir para produção
  • Revise as release notes e os problemas conhecidos mais recentes do Kafka 4.x, especificamente sobre o comportamento do transaction coordinator no KRaft, já que essa é uma área do código em evolução ativa desde a remoção do ZooKeeper

Se o seu caso de uso não exige estritamente transações, avalie se os seus requisitos de recuperação e idempotência podem ser atendidos por padrões alternativos, como apenas a configuração de producer idempotente (sem transações completas), a deduplicação no nível da aplicação ou outra arquitetura de recuperação, que podem evitar por completo o gargalo específico observado aqui.

Que abordagem de teste de carga realmente valida o Kafka 4.0 para o meu workload?

O caso real citado ao longo deste artigo usou o JMeter para gerar uma carga controlada e estável, a uma taxa específica de transações por segundo ou por minuto. Foi uma escolha deliberada, porque oferece uma visibilidade clara e controlável de como o sistema reage a rampas de carga, em vez de depender de padrões de tráfego de produção, que são mais difíceis de isolar e reproduzir para fins de diagnóstico.

Uma abordagem de validação consistente:

  1. Estabeleça primeiro uma linha de base de throughput não transacional, para ter um ponto de comparação limpo
  2. Introduza as transações e meça a diferença de throughput com o mesmo perfil de carga
  3. Teste explicitamente o escalonamento horizontal: adicione instâncias de producer e consumer e confirme que o throughput realmente aumenta; se ele estagnar, é o sinal para investigar gargalos no nível do coordinator antes de avançar
  4. Use uma ferramenta de geração de carga que permita manter uma taxa de transações estável e conhecida (o JMeter ou o kafka-producer-perf-test.sh do próprio Kafka, para a validação do lado do producer), em vez de depender apenas do tráfego orgânico durante um soft launch

Metas de resposta a partir de 15 minutos, conforme o plano. Engenheiros sêniores designados.

Fale conosco

Para qual versão do Kafka as organizações com clusters mais antigos baseados em ZooKeeper devem migrar?

Se você ainda está em uma versão anterior ao KRaft e está planejando o caminho de upgrade, saiba que o Kafka 4.0 e as versões posteriores dispensam o ZooKeeper por design: a partir do Kafka 4.0, o suporte ao ZooKeeper foi removido, e não apenas descontinuado. Isso significa que o planejamento do upgrade precisa incluir uma migração para KRaft como parte do caminho, e não como uma etapa opcional posterior.

Em workloads que não usam muito as transações do Kafka, essa migração costuma ter um risco menor do que o caso descrito neste artigo, já que o gargalo identificado aqui ficou isolado especificamente no throughput transacional, e não na operação geral do cluster KRaft. Em workloads com uso intenso de transações, reserve tempo explícito para testes de carga do caminho transacional como parte do plano de migração, seguindo a abordagem de validação descrita acima, em vez de supor que as características de desempenho das transações anteriores ao KRaft continuam iguais.

Qual é a conclusão realista sobre a prontidão do Kafka 4.0 para produção?

A arquitetura central do KRaft está pronta para produção e está sendo adotada ativamente em workloads exigentes, inclusive no processamento de transações financeiras. As transações do Kafka, especificamente, merecem uma validação de carga dedicada antes de serem adotadas em um workload de produção sensível a desempenho, com base direta em uma regressão de throughput real e reproduzível observada em testes de produção. Isso não é motivo para evitar o Kafka 4.0, e sim para testar deliberadamente o seu padrão de uso específico, em vez de supor paridade total de comportamento com as versões do Kafka anteriores ao KRaft em todos os recursos, inclusive transações.

Controllers isolados ou modo combinado: o que o upstream recomenda e o que nós implantamos

Um cluster KRaft guarda seus metadados em um quórum Raft de nós controller, e não no ZooKeeper. O quórum elege um controller ativo, que é dono do log de metadados: definições de tópicos e partições, atribuições de réplicas, eleições de líder, configurações e ACLs. Todos os brokers seguem esse log e o aplicam localmente. Cada nó declara o que é por meio de process.roles. Um nó com process.roles=controller apenas vota e serve metadados. Um nó com process.roles=broker apenas atende o tráfego dos clientes e os dados das partições. Um nó com process.roles=broker,controller faz as duas coisas na mesma JVM, o que o upstream chama de modo combinado.

A documentação upstream é clara sobre qual dessas opções pertence à produção. Controllers isolados em servidores próprios são o layout recomendado para workloads de produção. O modo combinado é descrito como adequado para desenvolvimento, testes e clusters pequenos em que o isolamento de recursos não é uma preocupação. Ele é suportado e funciona, mas não é o layout que o upstream recomenda para implantações críticas, e a nossa experiência confirma isso.

O motivo é o acoplamento de falhas. No modo combinado, um broker sob pressão de I/O ou de garbage collection é também um controller, então um broker com problema não perde apenas a liderança das suas partições: ele pode travar os votos do quórum e os commits de metadados do cluster inteiro. O log de metadados precisa fazer fsync a cada commit e, no modo combinado, esse fsync disputa os mesmos discos e o mesmo page cache com as escritas do log das partições, então um pico de tráfego dos producers pode deixar mais lento justamente o componente que coordena a recuperação desse pico. Um rolling restart dos brokers é também um restart dos controllers, então todo upgrade de rotina ou mudança de configuração nos brokers também provoca uma eleição de controller. Com poucos brokers e tráfego leve, nada disso importa muito. Com milhares de partições e discos sob carga intensa, incidentes comuns de broker viram incidentes de metadados em todo o cluster. Isolar as funções é o que mantém um problema de broker como um problema só de broker.

Dimensionar controllers isolados é fácil, porque eles guardam apenas metadados, e não dados de partições. Três controllers é o número certo para a maioria dos clusters e tolera a perda de um. Cinco valem a pena em ambientes muito grandes ou em implantações multizona em que você quer sobreviver à perda de uma zona somada a uma janela de manutenção em outro nó, ao custo de um quórum um pouco mais lento. Máquinas pequenas resolvem: poucos cores, alguns GB de heap e um disco modesto, mas de baixa latência, para o log de metadados. Coloque um controller por availability zone, para que a falha de uma zona não derrube o quórum junto. No Kubernetes, isso significa um node pool dedicado aos controllers, separado do pool dos brokers, assunto que abordamos em Kafka no Kubernetes. O posicionamento do quórum também faz parte de qualquer projeto sério de recuperação de desastres do Kafka, porque um cluster que perdeu o quórum de controllers não consegue eleger líderes de partição, mesmo que todos os brokers estejam saudáveis.

A migração de um cluster ZooKeeper existente segue uma ordem fixa. Suba o novo quórum de controllers com zookeeper.metadata.migration.enable=true e a string de conexão do ZooKeeper, para que os controllers consigam ler os metadados existentes. Em seguida, reinicie os brokers um de cada vez com a flag de migração e os votantes do quórum de controllers configurados, o que coloca o cluster no modo de escrita dupla, em que os metadados são gravados tanto no ZooKeeper quanto no log do KRaft. Depois que todos os brokers tiverem sido reiniciados e os metadados verificados, finalize removendo a flag de migração e a configuração do ZooKeeper dos controllers e reiniciando-os. Até esse ponto, é possível voltar para o ZooKeeper; depois da finalização, não. O Kafka 4.0 removeu totalmente o modo ZooKeeper, então todo esse procedimento precisa rodar em uma release ponte 3.9. Você faz o upgrade para a 3.9, migra, finaliza e só então passa para a 4.x.

Nossa regra para workloads críticos é curta. Controllers isolados, três nós, um por zona, em discos separados de todo o resto. Modo combinado só quando o cluster tem poucos brokers e o motivo está documentado. Quando assumimos um cluster que roda o modo combinado em escala, separar as funções costuma ser a nossa primeira mudança, antes da estratégia de particionamento ou da capacidade. Se você quer essa revisão no seu ambiente, nossa equipe de consultoria em Kafka pode definir o escopo, e o suporte para Kafka cobre o cluster depois disso, com cobertura 24/7 e metas de resposta a partir de 15 minutos, conforme o plano.

Conte com ajuda na sua migração para o Kafka 4.0

Está migrando para o Kafka 4.0 ou vendo um teto de throughput inexplicável com as transações do Kafka no seu cluster KRaft? Fale com a AceMQ para um trabalho de diagnóstico. Não sabe por onde começar? Converse com um engenheiro da AceMQ.

Esta é a etapa um de dez do guia de operações do Kafka, que apresenta as decisões operacionais na ordem em que elas surgem em um ambiente de produção.

Perguntas frequentes

O Kafka recomenda controllers KRaft isolados em produção?

Sim. A documentação upstream do Kafka recomenda rodar os controllers em servidores dedicados para workloads de produção e descreve o modo combinado, em que um nó é ao mesmo tempo broker e controller, como adequado para desenvolvimento, testes e clusters pequenos em que o isolamento de recursos não é uma preocupação. O modo combinado é suportado e funciona, mas um broker sob pressão de I/O ou de GC passa a ser também um controller, e um restart do broker é também um restart do controller. Em qualquer workload crítico, implantamos controllers isolados em nós e discos próprios e tratamos o modo combinado como uma exceção documentada para clusters muito pequenos.

Quantos controllers KRaft um cluster de produção deve ter?

Três na maioria dos clusters e cinco em ambientes muito grandes ou distribuídos em várias zonas. Um quórum de três nós tolera a perda de um controller, e um de cinco tolera a perda de dois, o que faz diferença quando você quer sobreviver à queda de uma zona enquanto outro controller está em manutenção. Os controllers guardam apenas metadados, então nós pequenos, com poucos cores, alguns GB de heap e um disco de baixa latência, são suficientes. Coloque um controller por availability zone, mantenha o log de metadados em um disco próprio e, no Kubernetes, rode-os em um node pool dedicado. Não use um número par e não conte os controllers como capacidade de broker.

O modo KRaft do Kafka 4.0 é estável o suficiente para produção?

Sim. O KRaft é a arquitetura padrão de produção no Kafka 4.0, e não um recurso em beta. Organizações já o estão implantando em workloads exigentes, inclusive no processamento de transações do setor bancário, justamente porque ele elimina a dependência do ZooKeeper.

O que de fato deu errado no caso real de produção com Kafka 4.0 discutido aqui?

Uma plataforma de processamento de transações no Kafka 4.0.0 viu o throughput cair de cerca de 320.000 para 40.000 a 50.000 transações por hora depois de adicionar mensageria transacional do Kafka para ter capacidade de recuperação. Aumentar o número de instâncias do serviço não melhorou o throughput, e remover as transações restaurou o desempenho normal, o que isolou a regressão especificamente no caminho transacional.

As transações do Kafka não funcionam no modo KRaft?

Não é que não funcionem, mas elas exigem uma validação mais profunda: o comportamento do transaction coordinator no KRaft é arquiteturalmente diferente do que existe em clusters baseados em ZooKeeper. O teto de throughput observado era reproduzível, não respondia ao escalonamento horizontal e desaparecia quando as transações eram removidas, o que aponta o comportamento do transaction coordinator como o gargalo mais provável.

Devo evitar totalmente as transações do Kafka na versão 4.0?

Não necessariamente, mas valide o seu padrão específico de uso transacional sob carga realista antes de adotá-lo em um workload crítico de produção. Se as transações não forem estritamente necessárias, considere a configuração de producer idempotente ou a deduplicação no nível da aplicação como alternativas que podem evitar o gargalo por completo.

Como fazer teste de carga do Kafka 4.0 antes de ir para produção?

Estabeleça primeiro uma linha de base de throughput não transacional, depois introduza as transações e meça a diferença com o mesmo perfil de carga. Teste explicitamente o escalonamento horizontal: se o throughput estagnar em vez de aumentar, investigue gargalos no nível do coordinator. Tanto o JMeter quanto o kafka-producer-perf-test.sh do próprio Kafka funcionam bem para gerar uma carga estável e controlada.

Para qual versão do Kafka devo migrar se ainda uso clusters baseados em ZooKeeper?

O Kafka 4.0 e as versões posteriores dispensam o ZooKeeper por design: a partir da 4.0, o suporte ao ZooKeeper foi removido, e não apenas descontinuado. Por isso, o planejamento do upgrade precisa incluir uma migração para KRaft como etapa obrigatória, e não opcional. Workloads com uso intenso de transações devem reservar tempo explícito para testes de carga do caminho transacional como parte dessa migração.

Qual é a conclusão sobre a prontidão do Kafka 4.0 para produção?

A arquitetura central do KRaft está pronta para produção e já é usada em workloads exigentes, inclusive no processamento de transações financeiras. As transações do Kafka, especificamente, merecem uma validação de carga dedicada antes de serem adotadas em produção sensível a desempenho, com base em uma regressão de throughput real e reproduzível.

Consulta gratuita

Um olhar especializado sobre seu cluster Kafka

Seja para resolver um incidente em produção, planejar uma migração ou ter uma segunda opinião sobre sua arquitetura, nossa equipe está pronta. Sem discurso de vendas, só respostas.

Envie um e-mail