Visão geral
Um fornecedor de SaaS estava prestes a dobrar a capacidade do seu Memcached para melhorar uma taxa de acerto decepcionante. A AceMQ avaliou primeiro a camada de cache para determinar se a capacidade era realmente a restrição.
Desafio
A taxa de acerto agregada parecia ruim, o que tornava mais memória a resposta óbvia. Mas o número agregado escondia dois problemas distintos. Uma parcela significativa dos gets era de chaves que só são lidas uma única vez, ou seja, cache misses por natureza, que nenhuma quantidade de memória resolve. E a distribuição das chaves no anel era muito desigual, porque uma diferença na configuração de hashing entre duas bibliotecas cliente fazia com que alguns nós estivessem perto do limite e fazendo evictions enquanto outros ficavam pela metade.
Ambiente
Camada Memcached na AWS acessada por serviços em duas linguagens, com bibliotecas cliente diferentes.
Abordagem
A avaliação decompõe a taxa de acerto por padrão de chave, em vez de tratá-la como um único número, e mede a distribuição real de chaves e de memória por nó. Isso separa o tráfego que de fato não é cacheável da carga que se beneficiaria de mais memória, e expõe problemas de distribuição que adicionar nós não resolveria.
Solução
- Decomposição da taxa de acerto por prefixo de chave e padrão de acesso, separando as chaves lidas uma única vez das realmente reutilizáveis
- Medição da quantidade de chaves e da distribuição de memória por nó para expor o desequilíbrio do anel
- Comparação da configuração de hashing das bibliotecas cliente nas duas linguagens, identificando a divergência que causava o desequilíbrio
- Estimativa do working set por classe de chave, para que os requisitos de capacidade se baseiem em medições, e não no palpite de dobrar
- Identificação dos padrões de acesso não cacheáveis, devolvidos às equipes de aplicação como candidatos a sair do caminho do cache
- Recomendação de dimensionamento com a taxa de acerto esperada para cada opção, incluindo a opção de não adicionar nenhuma capacidade
Resultado obtido
A correção da divergência de hashing nos clientes rebalanceou o anel e elevou substancialmente a taxa de acerto sem nenhum hardware novo. A duplicação de capacidade planejada foi cancelada e, em seu lugar, foi agendado um aumento modesto direcionado a uma única classe de chaves.