Voltar para todos os casos de uso

CorreçãoSoftware / plataformas digitais

Encontrar o pico de latência que só aparece no p99.9

Plataforma de real-time bidding

Eliminação de picos periódicos de latência de várias centenas de milissegundos, rastreados até travamentos no fork dos snapshots RDB e agravados pelas transparent huge pages.

Visão geral

Uma plataforma de leilões operava com um orçamento rígido de latência por requisição e perdia leilões por timeout em ciclos periódicos. A latência média do Redis parecia normal; o p99.9 mostrava picos de várias centenas de milissegundos em intervalos regulares. A AceMQ foi acionada sob o SLA emergencial.

Desafio

O intervalo dos picos coincidia com a programação dos snapshots RDB. Fazer o fork de um processo Redis grande copia as tabelas de páginas e, com as transparent huge pages ativadas, o custo de copy-on-write após o fork se multiplicava: cada escrita em uma huge page compartilhada forçava uma cópia de dois megabytes em vez de quatro kilobytes. O efeito era invisível na latência média e só aparecia na cauda, exatamente onde essa carga de trabalho operava.

Ambiente

Redis em hosts Linux bare-metal atendendo decisões de real-time bidding sob um orçamento de latência rigoroso.

Abordagem

A AceMQ correlacionou os horários dos picos com a duração dos forks registrada nos logs do Redis e com as estatísticas de memória do kernel para confirmar o mecanismo, em vez de apenas deduzi-lo. As correções atacaram a configuração dos hosts, a estratégia de persistência e o consumo de memória que tornava cada fork caro.

Solução

  1. Correlação dos picos de latência de cauda com a duração dos forks registrada em log e com as estatísticas de memória do kernel para confirmar o mecanismo
  2. Desativação das transparent huge pages nos hosts Redis e validação da mudança em relação ao custo do fork
  3. Transferência da responsabilidade pelos snapshots para as réplicas, para que o primário não faça mais fork no caminho de atendimento
  4. Revisão da estratégia de persistência e dos limites de rewrite em relação aos requisitos reais de durabilidade da plataforma
  5. Redução do consumo de memória por instância por meio de mudanças na estrutura das chaves, para que qualquer fork restante fique mais barato
  6. Instrumentação dos percentis de latência de cauda e da duração dos forks como sinais monitorados de primeira linha

Resultado obtido

Os picos periódicos de cauda desapareceram e a latência p99.9 voltou a ficar dentro do orçamento da plataforma. Os timeouts de leilão atribuíveis à camada de cache acabaram.

Tecnologias

RedisLinuxKubernetesPrometheus

Enfrentando um problema de produção com Redis?

Os engenheiros Redis sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.