Visão geral
Um provedor de hospedagem que operava cerca de 2.000 servidores para 60.000 clientes tinha escalado sua implantação de Kafka de um para cinco nós à medida que a demanda crescia, e mesmo assim continuava tendo timeouts frequentes nos producers. O primeiro impulso, adicionar capacidade, já tinha sido tentado.
Desafio
O cluster rodava com fator de replicação quatro em cinco nós, com brokers e controllers no mesmo servidor. Com isso, o controller líder carregava um número excepcionalmente alto de conexões ativas, além das suas funções de replicação, e era essa concentração de conexões, e não o throughput bruto, que gerava os timeouts. Em seguida vinham reeleições e deslocamento de tópicos, o que parecia instabilidade, e não um sintoma da mesma causa.
Ambiente
Cluster Kafka de cinco nós implantado via Docker em servidores físicos, sustentando um grande ambiente de hospedagem compartilhada.
Abordagem
A AceMQ revisou as escolhas de replicação e de topologia em relação ao que a carga de trabalho realmente exigia, em vez de fazer ajustes para contornar o sintoma. As recomendações foram sequenciadas para que cada uma pudesse ser validada nas métricas de estabilidade do cluster antes da aplicação da seguinte.
Solução
- Redução do fator de replicação de quatro para três, atendendo aos requisitos de durabilidade sem replicar em excesso cada partição
- Separação das funções de broker e de controller, para que o trabalho do controller deixasse de competir com o atendimento do tráfego
- Manutenção de no mínimo três nós de broker, para preservar as garantias de disponibilidade durante a mudança
- Ajuste das configurações de threads para melhorar a capacidade de resposta sob carga de conexões
- Definição da frequência de reeleições e do deslocamento de tópicos como as métricas a acompanhar na validação de cada etapa
Resultado obtido
Os timeouts dos producers foram tratados na origem, em vez de mascarados com mais capacidade, e a equipe ganhou um conjunto claro de sinais para detectar cedo uma recorrência.