Visão geral
Um fornecedor de análise de dados na área da saúde tinha uma única instância Redis com entradas de cache e estado de sessão dos utilizadores. Quando surgia pressão de memória, a política de eviction removia chaves sem distinguir quais eram descartáveis, pelo que os utilizadores perdiam a sessão a meio do trabalho. A AceMQ assumiu o suporte Redis com engenheiros seniores designados.
Desafio
Misturar dados de cache e de sessão num único keyspace com uma única política de eviction significa que qualquer política escolhida está errada para uma das cargas de trabalho. Para agravar a situação, muitas chaves de cache não tinham qualquer TTL, pelo que uma política de eviction volatile não tinha nada elegível para remover e a instância devolvia erros de falta de memória. Os relatórios de memória também estavam a ser mal interpretados, confundindo-se fragmentação com crescimento dos dados.
Ambiente
Redis no Azure, a suportar o estado de sessão e a cache de resultados de consultas de uma aplicação de análise clínica.
Abordagem
A AceMQ começou por separar as cargas de trabalho, porque nenhuma política de eviction serve ambas, e depois corrigiu a configuração de TTL e de políticas de cada uma. Os relatórios de memória foram clarificados para que a equipa de operações conseguisse distinguir crescimento dos dados, fragmentação e utilização dos buffers de replicação.
Solução
- Separação do estado de sessão e da cache em instâncias distintas, com políticas adequadas a cada carga de trabalho
- Aplicação consistente de TTL nas chaves de cache, para que as políticas de eviction volatile tenham candidatos elegíveis
- Definição do maxmemory e da política de eviction por instância com base no working set medido, e não na memória do host
- Clarificação dos relatórios de memória para que fragmentação, dados e buffers de replicação sejam lidos corretamente
- Identificação e correção dos padrões de chaves que provocavam um crescimento sem limites no keyspace da cache
- Escalonamento 24/7 para engenheiros Redis seniores, com objetivos de resposta a partir de 15 minutos, consoante o plano
Resultado final
A perda de sessões sob pressão de memória acabou por completo, e os erros de falta de memória desapareceram assim que a eviction passou a ter candidatos elegíveis. A equipa do cliente lê hoje corretamente as métricas de memória e atua sobre o crescimento antes de este se tornar um incidente.