Voltar para todos os casos de uso

ConsultoriaServiços financeiros / pagamentos

Um desenho de cache em que a invalidação é uma decisão, e não um acidente

Processadora global de pagamentos

Projeto de consultoria para desenhar a topologia multirregional do Memcached, o namespacing das chaves e a estratégia de invalidação para uma plataforma sensível à latência.

Visão geral

Uma processadora de pagamentos em expansão para novas regiões precisava de um desenho de cache que não gerasse leituras obsoletas entre regiões. A AceMQ desenhou a topologia, o namespacing e a estratégia de invalidação antes do início da expansão.

Desafio

A configuração existente, em uma única região, dependia de cada serviço apagar as chaves após as escritas, e cada serviço usava a sua própria nomenclatura de chaves. Ninguém tinha a visão completa de quais chaves uma determinada escrita deveria invalidar, então aconteciam leituras obsoletas, que eram resolvidas encurtando os TTLs — o que jogava a carga de volta para o banco de dados. Estender esse modelo para várias regiões multiplicaria o problema, já que uma escrita em uma região não tinha como invalidar uma cópia em cache em outra.

Ambiente

Implantação multirregional na AWS sobre Kubernetes, caminhos de autorização de pagamentos sensíveis à latência e restrições regionais de residência de dados.

Abordagem

Desenhamos o cache em torno de uma responsabilidade explícita: cada namespace de chaves tem exatamente um serviço dono, responsável pelo seu ciclo de vida. Em vez de distribuir deletes entre regiões, o desenho usa namespaces versionados, de modo que uma invalidação é um único incremento de versão, que torna as entradas obsoletas inacessíveis e deixa que elas expirem naturalmente.

Solução

  1. Esquema de namespaces de chaves com um único serviço dono por namespace, acabando com a responsabilidade implícita compartilhada
  2. Namespaces versionados para que a invalidação seja um único incremento de versão, e não um conjunto enumerado de deletes
  3. Camadas de cache locais por região, respeitando as fronteiras de residência, com regras explícitas sobre o que nunca é armazenado em cache entre regiões
  4. Estratégia de TTL por classe de dados com base na defasagem tolerável, substituindo os TTLs curtos genéricos usados para mascarar bugs de invalidação
  5. Comportamento em falha definido para que uma indisponibilidade do cache se degrade para leituras diretas com limites de concorrência, em vez de um estouro de requisições no banco de dados
  6. Orientação sobre onde um armazenamento durável é mais adequado do que um cache volátil, mantendo o Memcached para as cargas de trabalho às quais ele se adapta

Resultado obtido

As leituras obsoletas entre regiões foram eliminadas no próprio desenho, e não apenas mitigadas, o que permitiu aumentar bastante os TTLs e reduzir a carga de leitura no banco de dados. Desde então, o padrão de namespaces versionados foi adotado por equipes fora do escopo original.

Tecnologias

MemcachedRedisKubernetesTerraformMySQL

Precisa de orientação de arquitetura para Memcached?

Os engenheiros Memcached sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.