Visão geral
Os grupos Raft por partição do Redpanda tornam a latência sensível à forma como a liderança das partições está distribuída. Quando os líderes se concentram em um subconjunto de brokers, esses nós ficam saturados enquanto o resto do cluster fica ocioso, e a latência de cauda sobe muito antes de a latência média mostrar qualquer coisa. A AceMQ diagnostica e rebalanceia.
Desafio
Os picos de latência aparecem depois de um rolling restart, da substituição de um nó ou do crescimento orgânico de partições. A liderança acaba distribuída de forma desigual, então alguns brokers carregam uma carga de escrita desproporcional. Por baixo disso, a storage class pode não entregar o throughput de escrita sustentado que o cluster pressupunha, os limites de CPU do Kubernetes podem estar estrangulando as threads do reactor, ou o número de partições de um tópico pode ser baixo demais para distribuir a carga, independentemente da liderança. O sintoma é o mesmo em todos os casos.
Ambiente
Clusters Redpanda em Kubernetes ou em instâncias de nuvem, com NVMe local ou armazenamento conectado em rede, atendendo producers sensíveis à latência.
Abordagem
A AceMQ correlaciona a contagem de lideranças por broker, a latência de escrita em disco e as métricas de throttling de CPU com os percentis de latência para identificar qual camada está realmente saturada. Primeiro a liderança é rebalanceada e a atribuição de partições é corrigida; depois, a storage class e os limites de recursos são ajustados nos casos em que o hardware é de fato a restrição.
Solução
- Análise da contagem de lideranças Raft e da distribuição de partições por broker, correlacionada com os percentis de latência de produção
- Rebalanceamento da liderança e reatribuição de partições para distribuir a carga de escrita de forma uniforme no cluster
- Validação da latência de escrita em disco e do throughput sustentado em relação à storage class efetivamente provisionada
- Revisão dos limites de CPU do Kubernetes e das threads do reactor para eliminar o throttling das threads de shard do seastar
- Revisão do número de partições dos tópicos cujo paralelismo é baixo demais para o seu throughput, independentemente da posição dos líderes
- Ajuste das configurações de batching, linger e acknowledgment dos producers de acordo com o requisito de durabilidade, e não com os valores padrão
Resultado obtido
A latência de cauda volta para a faixa esperada e permanece nela durante os rolling restarts, porque o rebalanceamento de liderança passa a ser uma prática operacional, e não uma correção pontual. Onde o armazenamento era a restrição real, a recomendação de dimensionamento é respaldada por throughput medido.