Volver a todos los casos de uso

SoporteSoftware / Plataformas digitales

Una memoria que solo subía

Plataforma SaaS de pantalla compartida en tiempo real

Seis sesiones en vivo a lo largo de catorce horas para descubrir por qué un clúster de Redis seguía creciendo por encima de su techo y para frenarlo sin una ventana de mantenimiento.

Descripción general

Una plataforma SaaS de pantalla compartida en tiempo real tenía un clúster de Redis cuya memoria subía de forma constante entre reinicios y nunca volvía a bajar. Reiniciar lo resolvía, lo que hacía que el problema fuera fácil de tolerar y fácil de diagnosticar mal. AceMQ llevó adelante el proyecto como seis sesiones de trabajo en vivo que sumaron catorce horas, con los ingenieros del cliente presentes, en lugar de un informe escrito entregado semanas después.

Desafío

Dos problemas distintos se presentaban como un solo síntoma. El techo de memoria estaba mal configurado en 7GB, así que la instancia no aplicaba eviction cuando correspondía, y Redis Search se degradaba con un patrón de escritura de alta frecuencia para el que el índice no se había diseñado. Cualquiera de los dos por separado era tolerable. Juntos producían un crecimiento que parecía una fuga clásica y resistía las correcciones habituales de la política de eviction.

Entorno

Redis en contenedores con failover gestionado por Sentinel, que almacena el estado de sesión de un producto de colaboración en tiempo real.

Enfoque

Las sesiones fueron deliberadamente interactivas: reproducir, medir, cambiar una variable y volver a medir. Ese formato permitió al equipo separar la mala configuración del techo del comportamiento de Redis Search, en lugar de aplicar ambas correcciones a la vez sin aprender nada.

Solución

  1. Corrección del techo de memoria para que la política de eviction pudiera activarse realmente en el umbral previsto
  2. Identificación de la degradación de Redis Search con escrituras de alta frecuencia como una causa distinta y no como un síntoma de la fuga
  3. Introducción de una rotación escalonada de contenedores para recuperar memoria de forma progresiva, evitando un reinicio simultáneo del clúster
  4. Revisión de la configuración de Sentinel para que el comportamiento del failover durante la rotación fuera predecible
  5. Incorporación de las métricas de memoria y de índices que habrían revelado ambas causas antes
  6. Ingenieros del cliente capacitados para ejecutar la rotación por su cuenta, sin depender de que AceMQ lo haga

Resultado final

El crecimiento de la memoria se redujo y el sistema de producción se estabilizó. No se reportaron fallas críticas en el período posterior al proyecto, y la plataforma siguió funcionando durante la corrección sin necesidad de una ventana de mantenimiento.

Tecnologías

RedisRedis SentinelContainersObservability

¿Necesita soporte experto de Redis?

Los ingenieros sénior de Redis de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.