Voltar para todos os casos de uso

SuporteSoftware / plataformas digitais

Adicionar nós não tinha resolvido

Provedor europeu de hospedagem

Um cluster Kafka de cinco nós atendendo 60.000 clientes gerava timeouts nos producers sob carga. A causa era a topologia, não a capacidade.

Visão geral

Um provedor de hospedagem que operava cerca de 2.000 servidores para 60.000 clientes tinha escalado sua implantação de Kafka de um para cinco nós à medida que a demanda crescia, e mesmo assim continuava tendo timeouts frequentes nos producers. O primeiro impulso, adicionar capacidade, já tinha sido tentado.

Desafio

O cluster rodava com fator de replicação quatro em cinco nós, com brokers e controllers no mesmo servidor. Com isso, o controller líder carregava um número excepcionalmente alto de conexões ativas, além das suas funções de replicação, e era essa concentração de conexões, e não o throughput bruto, que gerava os timeouts. Em seguida vinham reeleições e deslocamento de tópicos, o que parecia instabilidade, e não um sintoma da mesma causa.

Ambiente

Cluster Kafka de cinco nós implantado via Docker em servidores físicos, sustentando um grande ambiente de hospedagem compartilhada.

Abordagem

A AceMQ revisou as escolhas de replicação e de topologia em relação ao que a carga de trabalho realmente exigia, em vez de fazer ajustes para contornar o sintoma. As recomendações foram sequenciadas para que cada uma pudesse ser validada nas métricas de estabilidade do cluster antes da aplicação da seguinte.

Solução

  1. Redução do fator de replicação de quatro para três, atendendo aos requisitos de durabilidade sem replicar em excesso cada partição
  2. Separação das funções de broker e de controller, para que o trabalho do controller deixasse de competir com o atendimento do tráfego
  3. Manutenção de no mínimo três nós de broker, para preservar as garantias de disponibilidade durante a mudança
  4. Ajuste das configurações de threads para melhorar a capacidade de resposta sob carga de conexões
  5. Definição da frequência de reeleições e do deslocamento de tópicos como as métricas a acompanhar na validação de cada etapa

Resultado obtido

Os timeouts dos producers foram tratados na origem, em vez de mascarados com mais capacidade, e a equipe ganhou um conjunto claro de sinais para detectar cedo uma recorrência.

Tecnologias

Apache KafkaDockerLinux

Precisa de suporte especializado em Apache Kafka?

Os engenheiros Apache Kafka sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.