Visão geral
Uma plataforma de colaboração utilizava o Redis como camada de sessões e de pesquisa por detrás de um produto destinado a clientes. A memória subia de forma constante entre reinícios até o cluster falhar, e o padrão tinha resistido a várias rondas de redimensionamento.
Desafio
Acrescentar memória não ajudava, porque o crescimento não era proporcional ao tráfego. O cluster tinha ainda um teto de memória definido sem unidades, pelo que o limite pretendido nunca chegou a ser aplicado. Os reinícios recuperavam a memória, mas faziam perder as sessões.
Ambiente
Redis em contentores, com réplicas e failover baseado em Sentinel, num ambiente cloud gerido, por detrás de uma carga de trabalho com escritas de alta frequência.
Abordagem
Os engenheiros da AceMQ reproduziram o crescimento num cluster de CI, isolaram-no no índice de texto integral eliminando e reconstruindo o índice e observando a memória regressar ao normal, e confirmaram que o comportamento correspondia a um defeito conhecido na versão do módulo de pesquisa em uso. Um reinício escalonado das réplicas antes do master deu à equipa uma mitigação provisória segura enquanto o caminho de atualização era avaliado.
Solução
- Reprodução do crescimento de memória num cluster fora de produção para isolar a causa
- Identificação da fuga no módulo de pesquisa de texto integral, e não na carga de trabalho da aplicação
- Correção de um teto de memória que tinha sido configurado sem unidades
- Definição de uma política de eviction explícita para que o cluster se degrade em vez de falhar
- Introdução de reinícios escalonados, primeiro das réplicas e depois do master, para evitar o risco de failover
- Avaliação do Valkey como caminho suportado a longo prazo, com rollout controlado por feature flags
Resultado final
O crescimento de memória deixou de ser um incidente. O cluster manteve-se estável entre janelas de manutenção, a equipa ganhou uma mitigação documentada que pode executar sozinha e a migração para o Valkey avançou como uma alteração planeada e não como uma emergência.