Volver a todos los casos de uso

SoporteSoftware / Plataformas digitales

Una memoria que no hacía más que subir

Plataforma SaaS de compartición de pantalla en tiempo real

Seis sesiones en directo a lo largo de catorce horas para averiguar por qué un clúster de Redis seguía creciendo por encima de su techo y detenerlo sin una ventana de mantenimiento.

Descripción general

Una plataforma SaaS de compartición de pantalla en tiempo real tenía un clúster de Redis cuya memoria aumentaba de forma constante entre reinicios y nunca volvía a bajar. Reiniciar lo resolvía, lo que hacía que el problema fuera fácil de tolerar y fácil de diagnosticar mal. AceMQ llevó a cabo el proyecto en seis sesiones de trabajo en directo que sumaron catorce horas, con los ingenieros del cliente presentes, en lugar de entregar un informe escrito semanas después.

Reto

Dos problemas distintos se presentaban como un único síntoma. El techo de memoria estaba mal configurado en 7 GB, de modo que la instancia no hacía eviction cuando debía, y Redis Search se degradaba con un patrón de escritura de alta frecuencia para el que el índice no estaba diseñado. Cualquiera de los dos por separado era asumible. Juntos producían un crecimiento que parecía una fuga clásica y que resistía las correcciones habituales de la política de eviction.

Entorno

Redis en contenedores con failover gestionado por Sentinel, que almacena el estado de las sesiones de un producto de colaboración en tiempo real.

Enfoque

Las sesiones fueron deliberadamente interactivas: reproducir, medir, cambiar una variable y volver a medir. Ese formato permitió al equipo separar el error de configuración del techo del comportamiento de Redis Search, en lugar de aplicar ambas correcciones a la vez sin aprender nada.

Solución

  1. Corrección del techo de memoria para que la política de eviction pudiera activarse realmente en el umbral previsto
  2. Identificación de la degradación de Redis Search con escrituras de alta frecuencia como una causa independiente y no como un síntoma de la fuga
  3. Rotación escalonada de los contenedores para recuperar memoria de forma progresiva, evitando un reinicio simultáneo del clúster
  4. Revisión de la configuración de Sentinel para que el comportamiento del failover durante la rotación fuera predecible
  5. Incorporación de las métricas de memoria y de índices que habrían permitido detectar antes ambas causas
  6. Capacitación de los ingenieros del cliente para que puedan ejecutar la rotación por sí mismos sin depender de AceMQ

Resultado final

El crecimiento de la memoria se redujo y el sistema de producción se estabilizó. No se notificaron fallos críticos en el periodo posterior al proyecto, y la plataforma siguió funcionando durante toda la remediación sin necesidad de una ventana de mantenimiento.

Tecnologías

RedisRedis SentinelContainersObservability

¿Necesita soporte experto de Redis?

Los ingenieros sénior de Redis de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.