Redis

Por que a memória do Redis continua crescendo se o número de chaves não aumenta?

Scott Sternloff

Por Scott Sternloff, Arquiteto corporativo sênior

LinkedIn · Atualizado em

MAXINDEX GROWINGMemory Leak, Flat Key Count
Nesta página

Você verifica o INFO memory e a memória usada continua subindo. Verifica o número de chaves e ele está estável, ou até diminuindo. Esse é um dos padrões de falha mais desconcertantes na operação do Redis: a conta não fecha, e as equipes muitas vezes passam dias perseguindo o culpado errado antes de encontrar o verdadeiro.

Este artigo mostra o diagnóstico e a correção com base em uma investigação real de produção que durou várias semanas, incluindo os comandos e os limites exatos que fizeram diferença.

Se o número de chaves está estável, por que a memória continua crescendo?

Na grande maioria dos casos, a resposta é: não são as suas chaves, é o seu índice.

Se você usa o RediSearch (o módulo de busca full-text e índices secundários) ou qualquer módulo de indexação semelhante, o próprio índice consome memória independentemente do keyspace principal. Um índice que cresce sem limite, muitas vezes porque está sendo reconstruído ou atualizado com muito mais frequência do que o previsto, pode subir em direção ao limite de maxmemory enquanto o DBSIZE não mostra nada de anormal.

Isso foi diagnosticado diretamente em uma avaliação do Redis feita em várias sessões: a equipe confirmou que um vazamento de memória estava ligado ao plugin de indexação full-text do Redis, com o uso de memória subindo em direção a 60% e provocando crashes durante as operações de reindexação. Justin Clark e Eugene Abovsky identificaram o problema como um bug de software no módulo de indexação: não era uma questão de hardware nem de configuração e nem sequer estava acontecendo no keyspace principal.

Primeiro passo do diagnóstico: rode FT.INFO <index_name> em cada um dos seus índices de busca e veja o consumo de memória informado para o índice. Compare esse valor com o used_memory total do INFO memory. Se o índice responde por uma fatia desproporcional e crescente, você encontrou a origem do vazamento: não nos dados, mas na estrutura de índice que fica sobre eles.

O que exatamente faz um índice vazar memória desse jeito?

A causa raiz mais comum é a reindexação excessiva provocada por atualizações frequentes e de baixo valor.

Em uma investigação de produção, a equipe rastreou o vazamento até as atualizações de heartbeat dos dispositivos: cada heartbeat disparava uma reindexação completa do documento associado, mesmo quando a mudança real era trivial. Cada uma dessas reindexações deixava para trás memória que não era recuperada e, como os heartbeats eram disparados o tempo todo, o vazamento se acumulava ao longo de horas até a instância cair.

Um segundo fator identificado na mesma investigação: indexar campos que não precisam ser indexados, como campos UUID. Indexar um campo de alta cardinalidade como um UUID aumenta bastante o consumo de memória do índice com pouquíssimo benefício para as consultas, já que UUIDs raramente são alvo de consultas por intervalo ou de busca fuzzy.

Perguntas de diagnóstico para fazer sobre a sua própria implantação:

  • Quais campos estão sendo indexados de fato, e as consultas realmente usam todos eles?
  • O que dispara a atualização de um documento: uma mudança de estado relevante ou um sinal de alta frequência, como um heartbeat ou a atualização de um timestamp?
  • Existe um job de reindexação agendado rodando, e ele está de fato terminando e liberando memória ou está falhando silenciosamente?

Qual é a forma mais rápida de estabilizar uma instância do Redis que está vazando memória agora?

Se você está no meio de um incidente, com a memória subindo em direção ao limite e um crash iminente, existe um paliativo comprovado: excluir e reconstruir o índice afetado.

Isso não corrige a causa raiz, mas recupera de forma confiável a memória vazada como mitigação imediata. Em um incidente, excluir e reconstruir o índice reduziu o uso de memória de 50% para 36% do máximo configurado, folga suficiente para estabilizar o sistema enquanto a correção de fundo era desenvolvida.

O procedimento paliativo:

  1. Confirme com o FT.INFO qual índice está crescendo de forma desproporcional
  2. Se possível, agende a exclusão e a reconstrução para uma janela de pouco tráfego: reconstruir um índice grande não é instantâneo e afeta brevemente a disponibilidade das consultas
  3. FT.DROPINDEX <index_name> (sem DD se você quiser preservar os dados hash/JSON subjacentes, já que a ideia é remover apenas a estrutura do índice, e não as suas chaves)
  4. Recrie o índice com FT.CREATE
  5. Depois, monitore o FT.INFO e o INFO memory para confirmar que a memória recuperada se manteve

Em ambientes de produção em que isso continua se repetindo, o procedimento pode ser automatizado como um job agendado, mas trate-o como uma mitigação, e não como uma correção. Automatizar um contorno sem tratar o gatilho da reindexação apenas adia a janela do crash.

Que mudanças de configuração realmente evitam o crash?

Além de corrigir o próprio gatilho da reindexação, duas mudanças no nível da configuração reduzem o raio de impacto enquanto a correção de fundo é desenvolvida:

Defina um maxmemory explícito com uma política de eviction adequada. Em um incidente, a equipe implementou uma nova configuração de memória máxima junto com a política de eviction allkeys-lru, especificamente para proteger a estabilidade do sistema para clientes críticos, trocando alguma queda na taxa de acerto do cache pela garantia de que a instância não cairia por esgotamento de memória. É um trade-off deliberado, que prioriza a estabilidade em vez do desempenho durante a investigação de um vazamento ativo, e não necessariamente uma postura permanente.

Ajuste o comportamento do garbage collection quando for o caso. Em implantações do Redis com uso intenso de módulos, um ajuste agressivo do GC foi testado especificamente para melhorar o comportamento de retenção de memória; vale investigar se o fornecedor do seu módulo expõe configurações relacionadas ao GC.

Separe os dados frequentes e de baixo valor das chaves indexadas. A correção mais duradoura identificada na investigação foi arquitetural: separar completamente os dados voláteis do tipo heartbeat das chaves indexadas, para que os pings de status de rotina não disparem nenhuma reindexação. Se o padrão da sua aplicação envolve atualizações frequentes em um pequeno subconjunto de campos de um documento que, de resto, é estável, considere armazenar os campos voláteis em uma chave separada e não indexada.

Devo fazer upgrade da versão do Redis para corrigir isso?

Talvez, mas valide antes o bug específico. Na investigação citada ao longo deste artigo, parte do processo de diagnóstico incluiu verificar se o vazamento de memória era um problema conhecido e corrigido em versões posteriores do Redis, já que o ambiente afetado rodava uma release mais antiga. Uma análise independente do código-fonte do módulo de busca foi usada para identificar se as versões com patches conhecidos resolviam o padrão específico de vazamento observado.

Antes de adotar um upgrade como solução, confirme:

  • Se a versão específica do módulo que você roda tem uma correção documentada para vazamento de memória em uma release posterior
  • Se o vazamento está realmente no próprio módulo ou no seu padrão de indexação (um upgrade não resolve um problema de indexação de UUIDs)
  • Se você tem um plano de rollback testado, já que upgrades de versão do Redis em produção exigem o mesmo cuidado que qualquer upgrade de serviço com estado

Metas de resposta a partir de 15 minutos, conforme o plano. Engenheiros sêniores designados.

Fale conosco

Isso é motivo para considerar a migração para o Valkey?

Vale avaliar como parte de um plano de remediação mais amplo, principalmente se você também está pesando questões de licenciamento. Algumas equipes que enfrentavam exatamente esse tipo de instabilidade relacionada a módulos aproveitaram a investigação para testar em paralelo a compatibilidade com o Valkey, validando se o código cliente e os padrões de indexação existentes se comportavam da mesma forma no Valkey antes de decidir para qualquer um dos lados. Tratamos essa decisão com mais profundidade em outro artigo.

Como deve ser o monitoramento contínuo depois de estabilizar?

Depois de eliminar o risco imediato de crash, coloque um monitoramento permanente em funcionamento para que o problema não volte silenciosamente:

  • Acompanhe a memória dos índices como uma métrica separada, e não apenas o used_memory total. Um painel que mostre a memória do FT.INFO ao lado da memória total torna o próximo vazamento visível cedo, e não quando o uso já chegou a 60%.
  • Crie alertas para a frequência e a duração dos jobs de reindexação. Se a cadência de reindexação mudar de forma inesperada (ficar mais frequente ou deixar de terminar sem aviso), esse é o seu alerta antecipado.
  • Verifique se a política de eviction do maxmemory corresponde à sua real tolerância à perda de dados. A allkeys-lru protege a estabilidade, mas remove dados sob pressão; se isso não for aceitável no seu caso de uso, a correção real precisa estar no gatilho da reindexação, e não na política de eviction.

Conte com ajuda para vazamentos de memória e crescimento de índices no Redis

Está vendo a memória do Redis subir sem relação com o número de chaves? Esse é um padrão que rastreamos até a origem real: crescimento de índices, gatilhos de reindexação e bugs em módulos que ajustes genéricos de infraestrutura não pegam. A AceMQ oferece suporte corporativo para Redis para ambientes de produção. Fale com um engenheiro da AceMQ.

Esta é a etapa três de sete do guia de confiabilidade do Redis, que apresenta os problemas na ordem em que eles surgem em um ambiente de produção.

Perguntas frequentes

Se o número de chaves do Redis está estável, por que a memória continua crescendo?

Na grande maioria dos casos, o crescimento vem de um índice, e não do seu keyspace. O RediSearch e módulos de indexação semelhantes consomem memória independentemente do keyspace principal, e um índice reconstruído ou atualizado com frequência excessiva pode subir em direção ao maxmemory enquanto o DBSIZE não mostra nada de anormal. Rode FT.INFO <index_name> em cada índice de busca e compare o consumo de memória dele com o used_memory total do INFO memory para confirmar.

O que faz um índice do Redis vazar memória desse jeito?

A causa raiz mais comum é a reindexação excessiva provocada por atualizações frequentes e de baixo valor, como um campo de heartbeat que dispara a reindexação completa do documento a cada ping. Um segundo fator é indexar campos que não precisam ser indexados, como campos UUID de alta cardinalidade, que inflam o consumo de memória do índice com pouco benefício para as consultas.

Qual é a forma mais rápida de estabilizar uma instância do Redis que está vazando memória agora?

Exclua e reconstrua o índice afetado. Isso não corrige a causa raiz, mas recupera de forma confiável a memória vazada como mitigação imediata: em um incidente, o uso caiu de 50% para 36% do máximo configurado. Agende para uma janela de pouco tráfego, confirme qual índice está crescendo com FT.INFO, depois rode FT.DROPINDEX (sem DD, para preservar os dados) e recrie com FT.CREATE.

Que mudanças de configuração realmente evitam um crash por vazamento de memória no Redis?

Defina um maxmemory explícito com a política de eviction allkeys-lru, para que a instância não caia por esgotamento de memória, mesmo ao custo de alguma queda na taxa de acerto do cache. Ajuste o comportamento do garbage collection se o fornecedor do módulo expuser essa configuração. A solução mais duradoura é separar os dados frequentes e de baixo valor, como heartbeats, das chaves indexadas, para que as atualizações de rotina deixem de disparar reindexações.

Devo fazer upgrade da versão do Redis para corrigir um vazamento de memória?

Talvez, mas valide antes o bug específico. Confirme se a versão do módulo que você roda tem uma correção documentada para vazamento de memória em uma release posterior, se o vazamento está realmente no módulo ou no seu padrão de indexação e se você tem um plano de rollback testado antes de se comprometer com o upgrade.

Um vazamento de memória no Redis é motivo para considerar a migração para o Valkey?

Vale avaliar como parte de um plano de remediação mais amplo, principalmente se você também está pesando questões de licenciamento. Testar a compatibilidade com o Valkey em paralelo, validando se o código cliente e os padrões de indexação se comportam da mesma forma, permite avaliar a opção sem se comprometer com ela de antemão.

Como deve ser o monitoramento contínuo depois de estabilizar um vazamento de memória no Redis?

Acompanhe a memória dos índices como uma métrica separada, ao lado do used_memory total, em vez de depender apenas de números agregados. Crie alertas para a frequência e a duração dos jobs de reindexação, para identificar cedo qualquer mudança inesperada. Verifique se a política de eviction do maxmemory corresponde de fato à sua tolerância à perda de dados, já que a allkeys-lru protege a estabilidade, mas remove dados sob pressão.

Consulta gratuita

Um olhar especializado sobre sua implantação Redis

Seja para resolver um incidente em produção, planejar uma migração ou ter uma segunda opinião sobre sua arquitetura, nossa equipe está pronta. Sem discurso de vendas, só respostas.

Envie um e-mail