Voltar para todos os casos de uso

CorreçãoSoftware / plataformas digitais

Um crescimento de memória que parecia problema de carga acabou sendo um bug de indexação

Plataforma de colaboração digital

Um cluster Redis de produção caía com um crescimento de memória causado pelo índice full-text, e não pela carga de trabalho. A AceMQ diagnosticou o vazamento, estabilizou o cluster e mapeou o caminho de migração para o Valkey.

Visão geral

Uma plataforma de colaboração usava o Redis como camada de sessões e de busca por trás de um produto voltado aos clientes. A memória subia sem parar entre um restart e outro até o cluster cair, e o padrão já havia sobrevivido a várias rodadas de redimensionamento.

Desafio

Adicionar memória não ajudava, porque o crescimento não era proporcional ao tráfego. O cluster também tinha um limite de memória configurado sem unidade, então o limite pretendido nunca chegou a ser aplicado. Os restarts recuperavam a memória, mas derrubavam as sessões.

Ambiente

Redis em contêineres com réplicas e failover baseado em Sentinel, rodando em um ambiente de nuvem gerenciado sob uma carga de escrita de alta frequência.

Abordagem

Os engenheiros da AceMQ reproduziram o crescimento em um cluster de CI, isolaram a causa no índice full-text ao remover e reconstruir o índice e ver a memória voltar ao normal, e confirmaram que o comportamento correspondia a um defeito conhecido na versão do módulo de busca em uso. Um restart escalonado das réplicas antes do master deu à equipe uma mitigação provisória segura enquanto o caminho de upgrade era avaliado.

Solução

  1. Reprodução do crescimento de memória em um cluster fora de produção para isolar a causa
  2. Rastreamento do vazamento até o módulo de busca full-text, e não até a carga da aplicação
  3. Correção de um limite de memória que havia sido configurado sem unidade
  4. Definição de uma política de eviction explícita, para que o cluster perca desempenho em vez de cair
  5. Adoção de restarts escalonados, primeiro das réplicas e depois do master, para evitar riscos de failover
  6. Avaliação do Valkey como caminho suportado de longo prazo, com rollout controlado por feature flags

Resultado obtido

O crescimento de memória deixou de ser um incidente. O cluster se manteve estável entre as janelas de manutenção, a equipe ganhou uma mitigação documentada que pode executar por conta própria e a migração para o Valkey avançou como uma mudança planejada, e não como uma emergência.

Tecnologias

ValkeyRedisKubernetes

Enfrentando um problema de produção com Valkey?

Os engenheiros Valkey sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.