Visão geral
Uma plataforma de processamento de transações que atende clientes bancários ativou o Kafka e viu o throughput cair cerca de sete vezes. Adicionar instâncias do serviço não fazia diferença: o desempenho ficava estável independentemente de quantas estivessem rodando, o que é a assinatura de um gargalo, e não de um limite de capacidade. Um prazo de validação exigia que a plataforma demonstrasse 80.000 transações por hora em uma semana.
Desafio
Um desempenho estável com paralelismo crescente apontava para a configuração, e não para o hardware. O deployment rodava o Kafka 4.0 com KRaft, o que elimina a dependência do ZooKeeper, mas também muda os parâmetros de tuning em relação às orientações que a maioria das equipes já absorveu. A recuperação de failover precisava se manter com qualquer mudança, já que a carga de trabalho era financeira.
Ambiente
Kafka 4.0 rodando em modo KRaft, como base de uma plataforma de processamento de transações para clientes bancários, com JMeter usado na validação de carga.
Abordagem
O trabalho se concentrou em identificar por que as instâncias adicionais não traziam ganho e, em seguida, em validar cada mudança com um perfil de carga repetível no JMeter, para que a melhoria fosse medida, e não presumida. O comportamento de failover foi tratado como uma restrição do tuning, e não como algo deixado para depois.
Solução
- Criação de um perfil de carga repetível no JMeter, para que cada mudança de configuração pudesse ser medida contra a mesma linha de base
- Investigação de por que mais instâncias do serviço produziam um throughput constante, isolando o ponto de serialização
- Tuning da configuração dos producers e dos brokers para o padrão de transações, e não para um throughput de uso geral
- Validação da recuperação de failover sob carga, para que a resiliência não fosse sacrificada em troca de velocidade
- Revisão da configuração específica do KRaft em relação às orientações escritas para os deployments da era do ZooKeeper
Resultado obtido
A plataforma passou a ter um caminho medido de volta à sua meta de throughput, com a recuperação de failover intacta, além de um perfil de testes de carga que pode ser reexecutado a cada mudança futura.