Voltar a todos os casos de utilização

CorreçãoSoftware / Plataformas digitais

Evictions a subir enquanto a cache reporta memória de sobra

Plataforma de comércio digital

Correção de emergência de uma camada Memcached que fazia eviction de chaves muito acedidas enquanto reportava memória livre, com a causa encontrada na atribuição das slab classes.

Visão geral

A taxa de acertos da cache de uma plataforma de comércio desabou depois de uma alteração ao formato dos seus objetos serializados, e as evictions subiram acentuadamente, embora os servidores reportassem memória por utilizar. A base de dados absorveu a carga resultante e a latência das páginas foi atrás.

Desafio

O Memcached atribui memória às slab classes em função do tamanho dos itens e, por omissão, uma página atribuída a uma classe fica nela. A alteração da serialização deslocou o item típico para uma classe de tamanho diferente daquela que detinha quase todas as páginas atribuídas. A nova classe encheu e começou a fazer eviction quase de imediato, enquanto a antiga ficava praticamente vazia — a assinatura clássica da calcificação. A memória total parecia normal em todos os dashboards, e foi por isso que a equipa tinha excluído a capacidade como causa.

Ambiente

Camada Memcached à frente de uma base de dados relacional, para cache de sessões e de objetos, com servidores aplicacionais em Kubernetes.

Abordagem

Lemos as estatísticas por slab class em vez dos números agregados de memória, o que tornou o desequilíbrio evidente em poucos minutos. O alívio imediato veio da ativação do rebalanceamento de slabs, para que as páginas pudessem migrar entre classes. A correção duradoura foi dimensionar os itens de forma deliberada e monitorizar as métricas que realmente revelam este modo de falha.

Solução

  1. Análise das estatísticas por slab class para expor a contradição entre evictions e memória livre que as métricas agregadas escondiam
  2. Ativação do rebalanceamento automático de slabs, para que as páginas migrem entre classes de tamanho à medida que a carga muda
  3. Revisão do growth factor e do dimensionamento dos chunks face à distribuição real dos tamanhos dos itens, em vez dos valores por omissão
  4. Redução do tamanho dos objetos serializados na camada aplicacional, para que os itens fiquem de forma previsível dentro de uma classe
  5. Monitorização das evictions e do número de páginas por classe, em substituição do gráfico de memória agregada que ocultava o problema
  6. Definição de um procedimento de reinício e de aquecimento, para que um reinício da cache não provoque uma avalanche de pedidos à base de dados

Resultado final

A taxa de acertos voltou ao nível anterior em menos de uma hora e as evictions na classe mais acedida caíram para quase zero. A carga de leitura na base de dados regressou ao normal e, desde então, a monitorização por classe já assinalou uma segunda mudança de tamanho antes de esta ter qualquer impacto.

Tecnologias

MemcachedLinuxMySQLKubernetes

Tem um problema de produção com Memcached?

Os engenheiros seniores de Memcached da AceMQ já trataram exatamente este tipo de projeto. Quer precise de orientação de arquitetura, de correção prática ou de uma parceria de gestão contínua, estamos prontos para ajudar.