Voltar para todos os casos de uso

ConsultoriaServiços financeiros / pagamentos

Migrar para o Cluster mode sem quebrar as operações com várias chaves

Processadora global de pagamentos

Planejamento da migração de um Redis standalone escalado verticalmente para o Cluster mode, incluindo o design de hash tags e a correção de operações cross-slot.

Visão geral

Uma processadora de pagamentos havia escalado uma instância standalone de Redis até o maior host disponível e não tinha mais para onde crescer. Migrar para o Cluster mode era a resposta óbvia, mas a aplicação usava operações com várias chaves e scripts Lua que pressupõem que todas as chaves estão no mesmo nó. A AceMQ planejou e validou a migração.

Desafio

O Cluster mode rejeita operações com várias chaves cujas chaves caem, pelo hash, em slots diferentes. Encontrar todas essas operações em uma base de código grande é mais difícil do que parece, já que muitas são construídas dinamicamente. Hash tags podem forçar chaves relacionadas a ficar no mesmo slot, mas usá-las em excesso recria o problema de nó quente que a migração existe justamente para resolver.

Ambiente

Redis no Kubernetes dando suporte à deduplicação de transações, ao rate limiting e ao armazenamento de chaves de idempotência.

Abordagem

A AceMQ levantou o mix real de comandos a partir do tráfego em produção, e não apenas pela revisão do código, o que revelou operações com várias chaves construídas dinamicamente que a análise estática não tinha detectado. Em seguida, o design das hash tags foi restringido de forma deliberada para preservar a distribuição dos slots, e a migração foi feita em etapas com validação por leitura dupla.

Solução

  1. Levantamento do mix de comandos em produção para encontrar operações com várias chaves e scripts que a revisão estática do código não detectou
  2. Design de hash tags com escopo restrito o suficiente para preservar a distribuição dos slots e, ao mesmo tempo, manter juntas as chaves relacionadas
  3. Reescrita das operações que não podiam ficar no mesmo slot para que funcionem entre slots sem perda de corretude
  4. Validação do suporte a cluster e do tratamento de redirecionamentos nas bibliotecas cliente antes de qualquer mudança de infraestrutura
  5. Desenho de uma migração em etapas, com validação por leitura dupla e um ponto de rollback definido em cada fase
  6. Modelagem da distribuição dos slots e da carga por nó com base nos padrões de chaves de produção antes de fechar a topologia

Resultado obtido

A processadora migrou para o Cluster mode e trocou um teto vertical por folga para crescer horizontalmente, e a distribuição dos slots se manteve equilibrada mesmo com os padrões de chaves de produção. As operações com várias chaves que teriam falhado de forma silenciosa foram encontradas e corrigidas antes do cutover.

Tecnologias

RedisKubernetesTerraformPrometheus

Precisa de orientação de arquitetura para Redis?

Os engenheiros Redis sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.