Visão geral
A taxa de acertos da cache de uma plataforma de comércio desabou depois de uma alteração ao formato dos seus objetos serializados, e as evictions subiram acentuadamente, embora os servidores reportassem memória por utilizar. A base de dados absorveu a carga resultante e a latência das páginas foi atrás.
Desafio
O Memcached atribui memória às slab classes em função do tamanho dos itens e, por omissão, uma página atribuída a uma classe fica nela. A alteração da serialização deslocou o item típico para uma classe de tamanho diferente daquela que detinha quase todas as páginas atribuídas. A nova classe encheu e começou a fazer eviction quase de imediato, enquanto a antiga ficava praticamente vazia — a assinatura clássica da calcificação. A memória total parecia normal em todos os dashboards, e foi por isso que a equipa tinha excluído a capacidade como causa.
Ambiente
Camada Memcached à frente de uma base de dados relacional, para cache de sessões e de objetos, com servidores aplicacionais em Kubernetes.
Abordagem
Lemos as estatísticas por slab class em vez dos números agregados de memória, o que tornou o desequilíbrio evidente em poucos minutos. O alívio imediato veio da ativação do rebalanceamento de slabs, para que as páginas pudessem migrar entre classes. A correção duradoura foi dimensionar os itens de forma deliberada e monitorizar as métricas que realmente revelam este modo de falha.
Solução
- Análise das estatísticas por slab class para expor a contradição entre evictions e memória livre que as métricas agregadas escondiam
- Ativação do rebalanceamento automático de slabs, para que as páginas migrem entre classes de tamanho à medida que a carga muda
- Revisão do growth factor e do dimensionamento dos chunks face à distribuição real dos tamanhos dos itens, em vez dos valores por omissão
- Redução do tamanho dos objetos serializados na camada aplicacional, para que os itens fiquem de forma previsível dentro de uma classe
- Monitorização das evictions e do número de páginas por classe, em substituição do gráfico de memória agregada que ocultava o problema
- Definição de um procedimento de reinício e de aquecimento, para que um reinício da cache não provoque uma avalanche de pedidos à base de dados
Resultado final
A taxa de acertos voltou ao nível anterior em menos de uma hora e as evictions na classe mais acedida caíram para quase zero. A carga de leitura na base de dados regressou ao normal e, desde então, a monitorização por classe já assinalou uma segunda mudança de tamanho antes de esta ter qualquer impacto.