Visão geral
A taxa de acerto do cache de uma plataforma de comércio despencou depois de uma mudança no formato dos objetos serializados, e as evictions subiram fortemente mesmo com os servidores reportando memória sem uso. O banco de dados absorveu a carga resultante, e a latência das páginas veio junto.
Desafio
O Memcached atribui memória às slab classes de acordo com o tamanho dos itens e, por padrão, uma página atribuída a uma classe fica nela. A mudança na serialização deslocou o item típico para uma classe de tamanho diferente daquela que concentrava quase todas as páginas alocadas. A nova classe encheu e começou a fazer evictions quase imediatamente, enquanto a antiga ficava praticamente vazia: a assinatura clássica da calcification. A memória total parecia normal em todos os dashboards, e foi por isso que a equipe tinha descartado a capacidade como causa.
Ambiente
Camada Memcached na frente de um banco de dados relacional para cache de sessões e de objetos, com servidores de aplicação em Kubernetes.
Abordagem
Lemos as estatísticas por slab class em vez dos números agregados de memória, o que deixou o desequilíbrio evidente em minutos. O alívio imediato veio ao ativar o slab rebalancing, para que as páginas pudessem migrar entre as classes. A correção definitiva foi dimensionar os itens de forma deliberada e monitorar as métricas que realmente revelam esse modo de falha.
Solução
- Análise das estatísticas por slab class para expor a contradição entre evictions e memória livre que as métricas agregadas escondiam
- Ativação do slab rebalancing automático, para que as páginas migrem entre as classes de tamanho conforme a carga de trabalho muda
- Revisão do growth factor e do tamanho dos chunks com base na distribuição real de tamanhos dos itens, e não nos padrões
- Redução do tamanho dos objetos serializados na camada de aplicação, para que os itens fiquem de forma previsível dentro de uma classe
- Inclusão de monitoramento de evictions e de quantidade de páginas por classe, substituindo o gráfico de memória agregada que ocultava o problema
- Definição de um procedimento de restart e aquecimento para que um restart do cache não provoque uma avalanche de requisições no banco de dados
Resultado obtido
A taxa de acerto voltou ao nível anterior em menos de uma hora, e as evictions na classe mais acessada caíram para perto de zero. A carga de leitura no banco de dados voltou ao normal, e o monitoramento por classe já sinalizou uma segunda mudança de tamanho antes que ela causasse qualquer impacto.