Kafka

O que realmente causa timeout no producer do Kafka e como resolver?

Scott Sternloff

Por Scott Sternloff, Arquiteto corporativo sênior

LinkedIn · Atualizado em

PRODUCERproducer-1CONTROLLERleaderBROKER 2BROKER 3TIMEOUTController/Broker Contention
Nesta página

org.apache.kafka.common.errors.TimeoutException: Expiring N record(s) é um dos erros mais comuns do Kafka em produção e um dos mais mal diagnosticados. É frequente as equipes partirem para mudanças de configuração do lado do producer (aumentar request.timeout.ms, elevar retries) quando a causa real está do lado dos brokers, mais especificamente na forma como as funções de controller e de broker estão distribuídas no cluster.

Este artigo percorre um caso real de diagnóstico: um cluster Kafka físico de cinco nós com timeouts frequentes no producer, a causa raiz identificada e a correção exata aplicada.

Qual é a causa real mais comum de timeouts no producer do Kafka?

A disputa entre as funções de controller e de broker nos mesmos nós.

Em um cluster no modo KRaft (a arquitetura do Kafka sem ZooKeeper), cada nó pode ser configurado para rodar com as funções combinadas de broker e controller, ou essas funções podem ser separadas em nós dedicados. Quando todos os nós rodam as duas funções, o que é comum em clusters menores ou que cresceram de forma orgânica, os processos de controller e de broker disputam a mesma CPU e a mesma memória em todos os nós, o tempo todo.

Em um caso real, um cluster Kafka de cinco nós, todos configurados com as funções combinadas de broker e controller, apresentava timeouts no producer que foram rastreados até o nó que atuava como líder do controller, que tinha um número excessivo de conexões ativas e gerava disputa no nível do broker. Como o especialista em Kafka da AceMQ diagnosticou diretamente: "Hoje, como os seus brokers… como você mesmo disse, com os controllers e os brokers na mesma máquina física, eles estão o tempo todo disputando memória e CPU, e isso gera latência no logging. Gera problemas nos metadados com que eles precisam trabalhar, porque estão disputando para atualizar uns aos outros. Separe as duas coisas."

Como saber se o meu replication factor está contribuindo para o problema?

Verifique se o seu replication factor é proporcional ao tamanho do cluster e às suas reais necessidades de durabilidade: a replicação excessiva gera uma sobrecarga real e mensurável.

No mesmo caso de diagnóstico, o cluster rodava com replication factor 4 em um cluster físico de 5 nós. A avaliação direta: "O replication factor 4 é excessivo para um cluster físico de 5 nós, porque é um nível alto de redundância, mas cobra um preço alto, principalmente com a distribuição dos seus tópicos nos cinco nós. Eu com certeza reduziria para três, ainda mais com o volume que vocês têm."

Por que o replication factor importa especificamente para os timeouts do producer: cada mensagem produzida precisa ser confirmada pelo número exigido de réplicas in-sync (definido pelas configurações acks e min.insync.replicas) antes que o producer receba a confirmação. Um replication factor mais alto significa mais réplicas precisando gravar e confirmar antes que essa confirmação volte e, se essas gravações nas réplicas disputam CPU e memória com a função de controller nos mesmos nós, a combinação se acumula em timeouts visíveis para o producer.

Regra prática: o replication factor 3 é a referência padrão de durabilidade para o Kafka em produção. Ir para 4 ou mais deve ser uma decisão deliberada, baseada em requisitos de durabilidade comprovados, e não um padrão.

Devo separar os controllers do Kafka dos brokers?

Sim, se você roda as funções combinadas e enfrenta problemas de latência ou de timeout do lado do producer: essa é uma das mudanças arquiteturais de maior impacto disponíveis.

A recomendação direta do mesmo caso de diagnóstico: "Agora, como isso está em produção… talvez colocar mais um controller e deixar o controller separado, e manter pelo menos 3 nós do lado dos brokers." Isso não exige reconstruir o cluster inteiro: basta adicionar um ou mais nós controller dedicados e reconfigurar os nós existentes para atuar só como broker, reduzindo a disputa de CPU e memória em todos os nós do cluster.

Caminho prático de migração:

  1. Provisione um novo nó (ou reaproveite um existente) como controller dedicado
  2. Reconfigure os demais nós para atuar só como broker
  3. Mantenha no mínimo 3 nós broker para garantir a durabilidade em produção
  4. Valide a saúde do cluster e o comportamento das reeleições antes de dar a migração por concluída

Que outras mudanças de configuração reduzem os timeouts no producer?

Duas alavancas adicionais de ajuste fizeram parte da mesma correção no caso real:

Aumente a configuração de threads de I/O do Kafka. A recomendação específica foi pegar a configuração atual de threads (num.io.threads ou a configuração equivalente de threads de rede/I/O) e dobrá-la, atacando diretamente os gargalos de throughput sob carga sem exigir mudanças arquiteturais.

Monitore reeleições de líder e a rotatividade de reatribuição de partições. Reeleições frequentes de controller ou mudanças de liderança não planejadas travam o tráfego dos producers enquanto o cluster se reorganiza. Como o diagnóstico resumiu: "Olhe estes dois aqui: eles dão uma boa noção da instabilidade, de como estão se comportando e se estão tendo que fazer reeleições, se estão tendo que mudar as coisas de lugar o tempo todo. Porque, quando mudam, tudo para: esses tópicos ficam mais lentos." Acompanhar a taxa de eleições de líder e a frequência de reatribuição de partições como métricas contínuas (e não só durante um incidente) funciona como um sistema de alerta antecipado caso o mesmo padrão de disputa volte a ocorrer.

Isso significa que o timeout no producer nunca é de fato um problema de configuração do producer?

Não. A configuração do lado do producer pode, sim, ser a causa raiz, e vale a pena confirmá-la ou descartá-la logo no início:

  • request.timeout.ms configurado baixo demais para as características reais de resposta da sua rede e dos seus brokers
  • max.in.flight.requests.per.connection combinado com retries, causando problemas de reordenação de mensagens que se acumulam em aparentes timeouts
  • batch.size e linger.ms mal configurados para o seu padrão de throughput, fazendo o producer segurar as mensagens por mais tempo que o esperado antes de enviá-las
  • Memória de buffer insuficiente do lado do producer (buffer.memory), causando uma BufferExhaustedException que acaba sendo interpretada como timeout

A disciplina de diagnóstico que importa aqui: verifique primeiro a saúde do lado dos brokers e a separação entre controller e broker, porque essa é a causa raiz mais comum em ambientes reais, antes de gastar tempo ajustando a configuração do cliente producer, que pode não ser o gargalo de fato.

Metas de resposta a partir de 15 minutos, conforme o plano. Engenheiros sêniores designados.

Fale conosco

E as mudanças de SSL/TLS? Podem estar causando os meus timeouts?

Se você está no meio de um upgrade ou mudou recentemente a configuração de TLS e começou a ver timeouts, não suponha que o TLS não tem nada a ver, mas também não suponha que ele seja a causa principal se houver disputa entre controller e broker não resolvida.

No mesmo caso, o cliente havia tentado recentemente uma troca de certificado SSL que falhou e exigiu rollback e, à parte, relatava timeouts no producer. A orientação foi explícita quanto à ordem: tratar primeiro o replication factor e a separação entre controller e broker. "Não olhe agora para o SSL… reduza a replicação para três, adicione os brokers e separe-os, e aí veja como está o desempenho… Eu não tentaria mexer no TLS/SSL até vocês chegarem ao Kafka 4." Estabilize a arquitetura central do cluster antes de acrescentar outras mudanças, como a rotação de certificados, sobre um cluster que já está sobrecarregado.

Devo corrigir isso por conta própria ou preciso de uma revisão especializada?

O padrão de diagnóstico aqui (replication factor, topologia de controllers e brokers, configuração de threads e frequência de reeleições) está ao alcance de uma equipe com sólida experiência operacional em Kafka. Mas o motivo pelo qual este caso específico foi escalado para uma revisão especializada é comum: os sintomas (timeouts no producer) não apontam de forma óbvia para a causa (disputa entre controller e broker) sem experiência de diagnóstico no nível do cluster em muitas topologias diferentes de Kafka.

Se você vê timeouts no producer e já descartou problemas de rede óbvios, o caminho mais rápido até a causa raiz costuma ser uma revisão estruturada da topologia de funções do cluster, da configuração de replicação e das métricas de reeleição, e não o ajuste incremental das configurações do cliente producer, um parâmetro de cada vez.

Conte com ajuda para resolver timeouts no producer do Kafka

Está enfrentando timeouts no producer do Kafka em produção? Fale com a AceMQ para uma revisão da arquitetura do cluster: vamos identificar se é disputa no controller, sobrecarga de replicação ou algo totalmente diferente. Não sabe por onde começar? Converse com um engenheiro da AceMQ.

Esta é a etapa cinco de dez do guia de operações do Kafka, que apresenta as decisões operacionais na ordem em que elas surgem em um ambiente de produção.

Perguntas frequentes

Qual é a causa real mais comum de timeouts no producer do Kafka?

A disputa entre as funções de controller e de broker nos mesmos nós físicos. Em clusters no modo KRaft que rodam as funções combinadas de broker e controller, o nó líder do controller pode acumular conexões em excesso e disputar CPU e memória com o processo do broker, gerando uma latência que aparece como timeout do lado do producer, e não como um erro óbvio no broker.

Como saber se o meu replication factor está contribuindo para os timeouts do producer?

Verifique se o replication factor é proporcional ao tamanho do cluster: um fator 4 em um cluster de 5 nós é redundância excessiva e acrescenta uma sobrecarga real. Cada mensagem produzida precisa ser confirmada pelas réplicas in-sync exigidas antes que o producer receba a confirmação, então um replication factor mais alto, somado à disputa no controller, se acumula em timeouts. O replication factor 3 é a referência padrão em produção.

Devo separar os controllers do Kafka dos brokers?

Sim, se você roda as funções combinadas de controller e broker e vê latência ou timeouts do lado do producer: é uma das correções de maior impacto disponíveis. Provisione um nó controller dedicado, reconfigure os nós existentes para atuar só como broker e mantenha no mínimo 3 nós broker para garantir a durabilidade em produção.

Que outras mudanças de configuração ajudam a reduzir timeouts no producer do Kafka?

Dobrar a configuração atual de threads de I/O (num.io.threads ou equivalente) ataca diretamente os gargalos de throughput. Além disso, monitore de forma contínua a frequência de reeleições de líder e a rotatividade de reatribuição de partições: reeleições frequentes travam o tráfego dos producers toda vez que o cluster se reorganiza.

Um timeout no producer do Kafka pode ser mesmo um problema de configuração do producer?

Sim. Um request.timeout.ms baixo demais, max.in.flight.requests.per.connection combinado com retries, batch.size/linger.ms mal configurados e buffer.memory insuficiente podem causar timeouts ou se disfarçar deles. Verifique primeiro a saúde do lado dos brokers e a separação entre controller e broker, porque essa é a causa raiz mais comum em ambientes reais.

Uma mudança recente de SSL/TLS pode estar causando os timeouts no producer do Kafka?

É possível, mas não suponha que seja a causa principal se houver disputa entre controller e broker não resolvida ou um replication factor superdimensionado. Estabilize primeiro a arquitetura central do cluster (replication factor e separação de funções) antes de aplicar mudanças de TLS/SSL sobre um cluster que já está sobrecarregado.

Devo investigar os timeouts no producer do Kafka por conta própria ou pedir uma revisão especializada?

Replication factor, topologia de controllers e brokers, configuração de threads e frequência de reeleições estão ao alcance de equipes com sólida experiência operacional em Kafka. A revisão especializada ajuda porque o sintoma (timeouts no producer) raramente aponta de forma óbvia para a causa (disputa no controller) sem experiência de diagnóstico em muitas topologias de cluster.

Consulta gratuita

Um olhar especializado sobre seu cluster Kafka

Seja para resolver um incidente em produção, planejar uma migração ou ter uma segunda opinião sobre sua arquitetura, nossa equipe está pronta. Sem discurso de vendas, só respostas.

Envie um e-mail