Visão geral
Uma processadora de pagamentos havia escalado uma instância standalone de Redis até o maior host disponível e não tinha mais para onde crescer. Migrar para o Cluster mode era a resposta óbvia, mas a aplicação usava operações com várias chaves e scripts Lua que pressupõem que todas as chaves estão no mesmo nó. A AceMQ planejou e validou a migração.
Desafio
O Cluster mode rejeita operações com várias chaves cujas chaves caem, pelo hash, em slots diferentes. Encontrar todas essas operações em uma base de código grande é mais difícil do que parece, já que muitas são construídas dinamicamente. Hash tags podem forçar chaves relacionadas a ficar no mesmo slot, mas usá-las em excesso recria o problema de nó quente que a migração existe justamente para resolver.
Ambiente
Redis no Kubernetes dando suporte à deduplicação de transações, ao rate limiting e ao armazenamento de chaves de idempotência.
Abordagem
A AceMQ levantou o mix real de comandos a partir do tráfego em produção, e não apenas pela revisão do código, o que revelou operações com várias chaves construídas dinamicamente que a análise estática não tinha detectado. Em seguida, o design das hash tags foi restringido de forma deliberada para preservar a distribuição dos slots, e a migração foi feita em etapas com validação por leitura dupla.
Solução
- Levantamento do mix de comandos em produção para encontrar operações com várias chaves e scripts que a revisão estática do código não detectou
- Design de hash tags com escopo restrito o suficiente para preservar a distribuição dos slots e, ao mesmo tempo, manter juntas as chaves relacionadas
- Reescrita das operações que não podiam ficar no mesmo slot para que funcionem entre slots sem perda de corretude
- Validação do suporte a cluster e do tratamento de redirecionamentos nas bibliotecas cliente antes de qualquer mudança de infraestrutura
- Desenho de uma migração em etapas, com validação por leitura dupla e um ponto de rollback definido em cada fase
- Modelagem da distribuição dos slots e da carga por nó com base nos padrões de chaves de produção antes de fechar a topologia
Resultado obtido
A processadora migrou para o Cluster mode e trocou um teto vertical por folga para crescer horizontalmente, e a distribuição dos slots se manteve equilibrada mesmo com os padrões de chaves de produção. As operações com várias chaves que teriam falhado de forma silenciosa foram encontradas e corrigidas antes do cutover.