Visão geral
Uma plataforma de leilões operava com um orçamento rígido de latência por requisição e perdia leilões por timeout em ciclos periódicos. A latência média do Redis parecia normal; o p99.9 mostrava picos de várias centenas de milissegundos em intervalos regulares. A AceMQ foi acionada sob o SLA emergencial.
Desafio
O intervalo dos picos coincidia com a programação dos snapshots RDB. Fazer o fork de um processo Redis grande copia as tabelas de páginas e, com as transparent huge pages ativadas, o custo de copy-on-write após o fork se multiplicava: cada escrita em uma huge page compartilhada forçava uma cópia de dois megabytes em vez de quatro kilobytes. O efeito era invisível na latência média e só aparecia na cauda, exatamente onde essa carga de trabalho operava.
Ambiente
Redis em hosts Linux bare-metal atendendo decisões de real-time bidding sob um orçamento de latência rigoroso.
Abordagem
A AceMQ correlacionou os horários dos picos com a duração dos forks registrada nos logs do Redis e com as estatísticas de memória do kernel para confirmar o mecanismo, em vez de apenas deduzi-lo. As correções atacaram a configuração dos hosts, a estratégia de persistência e o consumo de memória que tornava cada fork caro.
Solução
- Correlação dos picos de latência de cauda com a duração dos forks registrada em log e com as estatísticas de memória do kernel para confirmar o mecanismo
- Desativação das transparent huge pages nos hosts Redis e validação da mudança em relação ao custo do fork
- Transferência da responsabilidade pelos snapshots para as réplicas, para que o primário não faça mais fork no caminho de atendimento
- Revisão da estratégia de persistência e dos limites de rewrite em relação aos requisitos reais de durabilidade da plataforma
- Redução do consumo de memória por instância por meio de mudanças na estrutura das chaves, para que qualquer fork restante fique mais barato
- Instrumentação dos percentis de latência de cauda e da duração dos forks como sinais monitorados de primeira linha
Resultado obtido
Os picos periódicos de cauda desapareceram e a latência p99.9 voltou a ficar dentro do orçamento da plataforma. Os timeouts de leilão atribuíveis à camada de cache acabaram.