Voltar para todos os casos de uso

CorreçãoGames / entretenimento

Quando a latência p99 de produção dispara, a distribuição de liderança é o primeiro lugar para olhar

Plataforma de games online

Resolução de picos de latência de produção e consumo causados por desequilíbrio de liderança Raft, saturação de disco e distribuição de partições entre os brokers.

Visão geral

Os grupos Raft por partição do Redpanda tornam a latência sensível à forma como a liderança das partições está distribuída. Quando os líderes se concentram em um subconjunto de brokers, esses nós ficam saturados enquanto o resto do cluster fica ocioso, e a latência de cauda sobe muito antes de a latência média mostrar qualquer coisa. A AceMQ diagnostica e rebalanceia.

Desafio

Os picos de latência aparecem depois de um rolling restart, da substituição de um nó ou do crescimento orgânico de partições. A liderança acaba distribuída de forma desigual, então alguns brokers carregam uma carga de escrita desproporcional. Por baixo disso, a storage class pode não entregar o throughput de escrita sustentado que o cluster pressupunha, os limites de CPU do Kubernetes podem estar estrangulando as threads do reactor, ou o número de partições de um tópico pode ser baixo demais para distribuir a carga, independentemente da liderança. O sintoma é o mesmo em todos os casos.

Ambiente

Clusters Redpanda em Kubernetes ou em instâncias de nuvem, com NVMe local ou armazenamento conectado em rede, atendendo producers sensíveis à latência.

Abordagem

A AceMQ correlaciona a contagem de lideranças por broker, a latência de escrita em disco e as métricas de throttling de CPU com os percentis de latência para identificar qual camada está realmente saturada. Primeiro a liderança é rebalanceada e a atribuição de partições é corrigida; depois, a storage class e os limites de recursos são ajustados nos casos em que o hardware é de fato a restrição.

Solução

  1. Análise da contagem de lideranças Raft e da distribuição de partições por broker, correlacionada com os percentis de latência de produção
  2. Rebalanceamento da liderança e reatribuição de partições para distribuir a carga de escrita de forma uniforme no cluster
  3. Validação da latência de escrita em disco e do throughput sustentado em relação à storage class efetivamente provisionada
  4. Revisão dos limites de CPU do Kubernetes e das threads do reactor para eliminar o throttling das threads de shard do seastar
  5. Revisão do número de partições dos tópicos cujo paralelismo é baixo demais para o seu throughput, independentemente da posição dos líderes
  6. Ajuste das configurações de batching, linger e acknowledgment dos producers de acordo com o requisito de durabilidade, e não com os valores padrão

Resultado obtido

A latência de cauda volta para a faixa esperada e permanece nela durante os rolling restarts, porque o rebalanceamento de liderança passa a ser uma prática operacional, e não uma correção pontual. Onde o armazenamento era a restrição real, a recomendação de dimensionamento é respaldada por throughput medido.

Tecnologias

RedpandaKubernetesApache Kafka

Enfrentando um problema de produção com Redpanda?

Os engenheiros Redpanda sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.