Visão geral
Uma plataforma de colaboração usava o Redis como camada de sessões e de busca por trás de um produto voltado aos clientes. A memória subia sem parar entre um restart e outro até o cluster cair, e o padrão já havia sobrevivido a várias rodadas de redimensionamento.
Desafio
Adicionar memória não ajudava, porque o crescimento não era proporcional ao tráfego. O cluster também tinha um limite de memória configurado sem unidade, então o limite pretendido nunca chegou a ser aplicado. Os restarts recuperavam a memória, mas derrubavam as sessões.
Ambiente
Redis em contêineres com réplicas e failover baseado em Sentinel, rodando em um ambiente de nuvem gerenciado sob uma carga de escrita de alta frequência.
Abordagem
Os engenheiros da AceMQ reproduziram o crescimento em um cluster de CI, isolaram a causa no índice full-text ao remover e reconstruir o índice e ver a memória voltar ao normal, e confirmaram que o comportamento correspondia a um defeito conhecido na versão do módulo de busca em uso. Um restart escalonado das réplicas antes do master deu à equipe uma mitigação provisória segura enquanto o caminho de upgrade era avaliado.
Solução
- Reprodução do crescimento de memória em um cluster fora de produção para isolar a causa
- Rastreamento do vazamento até o módulo de busca full-text, e não até a carga da aplicação
- Correção de um limite de memória que havia sido configurado sem unidade
- Definição de uma política de eviction explícita, para que o cluster perca desempenho em vez de cair
- Adoção de restarts escalonados, primeiro das réplicas e depois do master, para evitar riscos de failover
- Avaliação do Valkey como caminho suportado de longo prazo, com rollout controlado por feature flags
Resultado obtido
O crescimento de memória deixou de ser um incidente. O cluster se manteve estável entre as janelas de manutenção, a equipe ganhou uma mitigação documentada que pode executar por conta própria e a migração para o Valkey avançou como uma mudança planejada, e não como uma emergência.