Visão geral
Uma plataforma de media digital sofria repetidamente indisponibilidades da base de dados sempre que um nó Memcached era substituído ou um grande lote de chaves expirava ao mesmo tempo. A AceMQ presta suporte contínuo que abrange a camada de cache e os padrões aplicacionais à sua volta.
Desafio
Perder um nó num anel de consistent hashing remapeia a sua quota de chaves, e todas as chaves remapeadas falham de uma só vez. Sem proteção contra a regeneração concorrente, milhares de pedidos recalculavam em simultâneo o mesmo valor dispendioso e saturavam a base de dados. O mesmo acontecia nas expirações em bloco, porque as chaves carregadas em conjunto durante um deploy partilhavam um TTL idêntico e, por isso, expiravam juntas. A manutenção de rotina dos nós tinha-se tornado um problema de aprovação de alterações.
Ambiente
Camada Memcached na AWS à frente de uma base de dados relacional, servidores aplicacionais em Kubernetes com deploys frequentes.
Abordagem
Aqui, o suporte abrange a cache e os padrões aplicacionais que a utilizam, já que a proteção contra stampedes é uma questão da aplicação que a cache, por si só, não resolve. Trabalhamos com os engenheiros do cliente em request coalescing e TTL jitter, e transformamos as alterações à topologia de nós numa operação controlada, em vez de um acontecimento.
Solução
- Suporte 24/7 com objetivos de resposta a partir de 15 minutos, consoante o plano, e engenheiros seniores designados que conhecem a topologia da cache e os seus consumidores
- Request coalescing na camada aplicacional para que apenas um chamador regenere um valor em falta enquanto os restantes aguardam
- TTL jitter aplicado para que as chaves carregadas em conjunto não expirem em conjunto e não provoquem uma expiração em bloco
- Revisão da configuração de consistent hashing para que as alterações de nós remapeiem a menor quota de chaves possível
- Procedimento controlado de adição e remoção de nós com pré-aquecimento, em substituição das trocas não planeadas
- Monitorização por nó da taxa de acertos, das evictions e dos get-misses, para detetar um nó em degradação antes de o perder
Resultado final
A substituição de nós já não provoca picos de carga na base de dados, e as expirações em bloco desapareceram com a aplicação do TTL jitter. A manutenção da cache deixou de ser um processo de aprovação de alterações e voltou a ser operação de rotina.