Descripción general
Una plataforma de colaboración utilizaba Redis como capa de sesiones y de búsqueda detrás de un producto orientado a clientes. La memoria subía de forma constante entre reinicios hasta que el clúster caía, y el patrón había resistido varias rondas de redimensionamiento.
Reto
Añadir memoria no servía de nada, porque el crecimiento no era proporcional al tráfico. Además, el clúster tenía un límite de memoria configurado sin unidades, de modo que el límite previsto nunca llegó a aplicarse. Los reinicios recuperaban la memoria, pero hacían perder sesiones.
Entorno
Redis en contenedores con réplicas y failover basado en Sentinel, en un entorno cloud gestionado y con una carga de escritura de alta frecuencia.
Enfoque
Los ingenieros de AceMQ reprodujeron el crecimiento en un clúster de CI, lo aislaron en el índice de texto completo eliminando y reconstruyendo el índice y observando cómo se recuperaba la memoria, y confirmaron que el comportamiento coincidía con un defecto conocido de la versión del módulo de búsqueda en uso. Un reinicio escalonado de las réplicas antes que el del máster dio al equipo una mitigación provisional segura mientras se evaluaba la ruta de actualización.
Solución
- Reproducción del crecimiento de memoria en un clúster que no era de producción para aislar la causa
- Identificación del origen de la fuga en el módulo de búsqueda de texto completo y no en la carga de trabajo de la aplicación
- Corrección de un límite de memoria que se había configurado sin unidades
- Política de desalojo explícita para que el clúster se degrade en lugar de caer
- Reinicios escalonados, primero las réplicas y después el máster, para evitar el riesgo de failover
- Evaluación de Valkey como ruta con soporte a largo plazo, con un despliegue controlado mediante feature flags
Resultado final
El crecimiento de memoria dejó de ser un incidente. El clúster se mantuvo estable entre ventanas de mantenimiento, el equipo obtuvo una mitigación documentada que podía aplicar por su cuenta y la migración a Valkey avanzó como un cambio planificado y no como una emergencia.