Voltar para todos os casos de uso

SuporteSoftware / plataformas digitais

Como sobreviver ao momento em que o cache esfria

Plataforma de mídia digital

Suporte contínuo para uma camada de Memcached sujeita a picos de carga no banco de dados (thundering herd) após mudanças de nós e a ondas de expiração do cache.

Visão geral

Uma plataforma de mídia digital sofria quedas no banco de dados toda vez que um nó do Memcached era substituído ou um grande lote de chaves expirava ao mesmo tempo. A AceMQ oferece suporte contínuo que cobre a camada de cache e os padrões de aplicação em torno dela.

Desafio

Perder um nó em um anel de consistent hashing remapeia a parcela de chaves que ele tinha, e todas as chaves remapeadas dão miss ao mesmo tempo. Sem nenhuma proteção contra regeneração concorrente, milhares de requisições recalculavam o mesmo valor caro simultaneamente e saturavam o banco de dados. O mesmo acontecia nas ondas de expiração, porque as chaves populadas juntas durante um deploy tinham o mesmo TTL e, portanto, expiravam juntas. A manutenção rotineira de nós tinha virado um problema de aprovação de mudanças.

Ambiente

Camada de Memcached na AWS à frente de um banco de dados relacional, com servidores de aplicação em Kubernetes e deploys frequentes.

Abordagem

Aqui o suporte abrange o cache e os padrões de aplicação que o usam, já que a proteção contra stampede é uma responsabilidade da aplicação que o cache sozinho não resolve. Trabalhamos com os engenheiros do cliente em request coalescing e TTL jitter e transformamos as mudanças na topologia de nós em uma operação controlada, e não em um evento.

Solução

  1. Suporte 24/7 com metas de resposta a partir de 15 minutos, conforme o plano e engenheiros sêniores designados que conhecem a topologia do cache e os seus consumidores
  2. Request coalescing adicionado na camada de aplicação para que apenas um chamador regenere um valor ausente enquanto os outros esperam
  3. TTL jitter aplicado para que chaves populadas juntas não expirem juntas e não gerem uma onda de expiração
  4. Revisão da configuração de consistent hashing para que as mudanças de nós remapeiem a menor parcela possível de chaves
  5. Procedimento controlado de adição e remoção de nós com pré-aquecimento, no lugar de substituições não planejadas
  6. Monitoramento de hit rate, evictions e get misses por nó para que um nó em degradação seja detectado antes de ser perdido

Resultado obtido

A substituição de nós deixou de gerar picos de carga no banco de dados, e as ondas de expiração desapareceram com a aplicação do TTL jitter. A manutenção do cache deixou de ser um evento de aprovação de mudanças e voltou a ser operação de rotina.

Tecnologias

MemcachedLinuxPostgreSQLKubernetes

Precisa de suporte especializado em Memcached?

Os engenheiros Memcached sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.