Descripción general
Una plataforma SaaS de pantalla compartida en tiempo real tenía un clúster de Redis cuya memoria subía de forma constante entre reinicios y nunca volvía a bajar. Reiniciar lo resolvía, lo que hacía que el problema fuera fácil de tolerar y fácil de diagnosticar mal. AceMQ llevó adelante el proyecto como seis sesiones de trabajo en vivo que sumaron catorce horas, con los ingenieros del cliente presentes, en lugar de un informe escrito entregado semanas después.
Desafío
Dos problemas distintos se presentaban como un solo síntoma. El techo de memoria estaba mal configurado en 7GB, así que la instancia no aplicaba eviction cuando correspondía, y Redis Search se degradaba con un patrón de escritura de alta frecuencia para el que el índice no se había diseñado. Cualquiera de los dos por separado era tolerable. Juntos producían un crecimiento que parecía una fuga clásica y resistía las correcciones habituales de la política de eviction.
Entorno
Redis en contenedores con failover gestionado por Sentinel, que almacena el estado de sesión de un producto de colaboración en tiempo real.
Enfoque
Las sesiones fueron deliberadamente interactivas: reproducir, medir, cambiar una variable y volver a medir. Ese formato permitió al equipo separar la mala configuración del techo del comportamiento de Redis Search, en lugar de aplicar ambas correcciones a la vez sin aprender nada.
Solución
- Corrección del techo de memoria para que la política de eviction pudiera activarse realmente en el umbral previsto
- Identificación de la degradación de Redis Search con escrituras de alta frecuencia como una causa distinta y no como un síntoma de la fuga
- Introducción de una rotación escalonada de contenedores para recuperar memoria de forma progresiva, evitando un reinicio simultáneo del clúster
- Revisión de la configuración de Sentinel para que el comportamiento del failover durante la rotación fuera predecible
- Incorporación de las métricas de memoria y de índices que habrían revelado ambas causas antes
- Ingenieros del cliente capacitados para ejecutar la rotación por su cuenta, sin depender de que AceMQ lo haga
Resultado final
El crecimiento de la memoria se redujo y el sistema de producción se estabilizó. No se reportaron fallas críticas en el período posterior al proyecto, y la plataforma siguió funcionando durante la corrección sin necesidad de una ventana de mantenimiento.