Voltar para todos os casos de uso

SuporteSoftware / plataformas digitais

Uma memória que só subia

Plataforma SaaS de compartilhamento de tela em tempo real

Seis sessões ao vivo ao longo de catorze horas para descobrir por que um cluster Redis continuava crescendo além do seu teto e para contê-lo sem janela de manutenção.

Visão geral

Uma plataforma SaaS de compartilhamento de tela em tempo real tinha um cluster Redis cuja memória subia de forma constante entre reinícios e nunca voltava a cair. Reiniciar resolvia, o que tornava o problema fácil de tolerar e fácil de diagnosticar errado. A AceMQ conduziu o projeto em seis sessões de trabalho ao vivo, somando catorze horas, com os engenheiros do cliente na sala, em vez de entregar um relatório escrito semanas depois.

Desafio

Dois problemas distintos se apresentavam como um único sintoma. O teto de memória estava configurado incorretamente em 7GB, então a instância não fazia eviction quando deveria, e o Redis Search se degradava sob um padrão de escrita de alta frequência para o qual o índice não tinha sido projetado. Cada um, sozinho, era administrável. Juntos, geravam um crescimento que parecia um vazamento clássico e resistia às correções usuais de política de eviction.

Ambiente

Redis em contêineres com failover gerenciado pelo Sentinel, armazenando o estado de sessão de um produto de colaboração em tempo real.

Abordagem

As sessões foram deliberadamente interativas: reproduzir, medir, mudar uma variável, medir de novo. Esse formato permitiu à equipe separar o erro de configuração do teto do comportamento do Redis Search, em vez de aplicar as duas correções de uma vez e não aprender nada.

Solução

  1. Correção do teto de memória para que a política de eviction pudesse de fato entrar em ação no limite pretendido
  2. Identificação da degradação do Redis Search sob escritas de alta frequência como uma causa distinta, e não como sintoma do vazamento
  3. Introdução de uma rotação escalonada de contêineres para recuperar memória de forma progressiva, evitando reiniciar o cluster inteiro de uma vez
  4. Revisão da configuração do Sentinel para que o comportamento de failover durante a rotação fosse previsível
  5. Inclusão das métricas de memória e de índice que teriam revelado as duas causas mais cedo
  6. Capacitação dos engenheiros do cliente para executar a rotação por conta própria, sem depender da AceMQ para isso

Resultado obtido

O crescimento da memória diminuiu e o sistema de produção se estabilizou. Nenhuma falha crítica foi registrada no período seguinte ao projeto, e a plataforma continuou funcionando durante toda a correção, sem precisar de janela de manutenção.

Tecnologias

RedisRedis SentinelContainersObservability

Precisa de suporte especializado em Redis?

Os engenheiros Redis sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.