Voltar para todos os casos de uso

CorreçãoSoftware / plataformas digitais

Evictions subindo enquanto o cache reporta memória sobrando

Plataforma de comércio digital

Correção emergencial de uma camada Memcached que removia hot keys enquanto reportava memória livre, com causa rastreada até a alocação das slab classes.

Visão geral

A taxa de acerto do cache de uma plataforma de comércio despencou depois de uma mudança no formato dos objetos serializados, e as evictions subiram fortemente mesmo com os servidores reportando memória sem uso. O banco de dados absorveu a carga resultante, e a latência das páginas veio junto.

Desafio

O Memcached atribui memória às slab classes de acordo com o tamanho dos itens e, por padrão, uma página atribuída a uma classe fica nela. A mudança na serialização deslocou o item típico para uma classe de tamanho diferente daquela que concentrava quase todas as páginas alocadas. A nova classe encheu e começou a fazer evictions quase imediatamente, enquanto a antiga ficava praticamente vazia: a assinatura clássica da calcification. A memória total parecia normal em todos os dashboards, e foi por isso que a equipe tinha descartado a capacidade como causa.

Ambiente

Camada Memcached na frente de um banco de dados relacional para cache de sessões e de objetos, com servidores de aplicação em Kubernetes.

Abordagem

Lemos as estatísticas por slab class em vez dos números agregados de memória, o que deixou o desequilíbrio evidente em minutos. O alívio imediato veio ao ativar o slab rebalancing, para que as páginas pudessem migrar entre as classes. A correção definitiva foi dimensionar os itens de forma deliberada e monitorar as métricas que realmente revelam esse modo de falha.

Solução

  1. Análise das estatísticas por slab class para expor a contradição entre evictions e memória livre que as métricas agregadas escondiam
  2. Ativação do slab rebalancing automático, para que as páginas migrem entre as classes de tamanho conforme a carga de trabalho muda
  3. Revisão do growth factor e do tamanho dos chunks com base na distribuição real de tamanhos dos itens, e não nos padrões
  4. Redução do tamanho dos objetos serializados na camada de aplicação, para que os itens fiquem de forma previsível dentro de uma classe
  5. Inclusão de monitoramento de evictions e de quantidade de páginas por classe, substituindo o gráfico de memória agregada que ocultava o problema
  6. Definição de um procedimento de restart e aquecimento para que um restart do cache não provoque uma avalanche de requisições no banco de dados

Resultado obtido

A taxa de acerto voltou ao nível anterior em menos de uma hora, e as evictions na classe mais acessada caíram para perto de zero. A carga de leitura no banco de dados voltou ao normal, e o monitoramento por classe já sinalizou uma segunda mudança de tamanho antes que ela causasse qualquer impacto.

Tecnologias

MemcachedLinuxMySQLKubernetes

Enfrentando um problema de produção com Memcached?

Os engenheiros Memcached sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.