Visão geral
Uma plataforma SaaS de compartilhamento de tela em tempo real tinha um cluster Redis cuja memória subia de forma constante entre reinícios e nunca voltava a cair. Reiniciar resolvia, o que tornava o problema fácil de tolerar e fácil de diagnosticar errado. A AceMQ conduziu o projeto em seis sessões de trabalho ao vivo, somando catorze horas, com os engenheiros do cliente na sala, em vez de entregar um relatório escrito semanas depois.
Desafio
Dois problemas distintos se apresentavam como um único sintoma. O teto de memória estava configurado incorretamente em 7GB, então a instância não fazia eviction quando deveria, e o Redis Search se degradava sob um padrão de escrita de alta frequência para o qual o índice não tinha sido projetado. Cada um, sozinho, era administrável. Juntos, geravam um crescimento que parecia um vazamento clássico e resistia às correções usuais de política de eviction.
Ambiente
Redis em contêineres com failover gerenciado pelo Sentinel, armazenando o estado de sessão de um produto de colaboração em tempo real.
Abordagem
As sessões foram deliberadamente interativas: reproduzir, medir, mudar uma variável, medir de novo. Esse formato permitiu à equipe separar o erro de configuração do teto do comportamento do Redis Search, em vez de aplicar as duas correções de uma vez e não aprender nada.
Solução
- Correção do teto de memória para que a política de eviction pudesse de fato entrar em ação no limite pretendido
- Identificação da degradação do Redis Search sob escritas de alta frequência como uma causa distinta, e não como sintoma do vazamento
- Introdução de uma rotação escalonada de contêineres para recuperar memória de forma progressiva, evitando reiniciar o cluster inteiro de uma vez
- Revisão da configuração do Sentinel para que o comportamento de failover durante a rotação fosse previsível
- Inclusão das métricas de memória e de índice que teriam revelado as duas causas mais cedo
- Capacitação dos engenheiros do cliente para executar a rotação por conta própria, sem depender da AceMQ para isso
Resultado obtido
O crescimento da memória diminuiu e o sistema de produção se estabilizou. Nenhuma falha crítica foi registrada no período seguinte ao projeto, e a plataforma continuou funcionando durante toda a correção, sem precisar de janela de manutenção.