Redis

¿Por qué sigue creciendo la memoria de Redis aunque no crezca el número de claves?

Scott Sternloff

Por Scott Sternloff, Arquitecto empresarial sénior

LinkedIn · Actualizado el

MAXINDEX GROWINGMemory Leak, Flat Key Count
En esta página

Consulta INFO memory y la memoria usada no deja de subir. Consulta el número de claves y se mantiene estable, o incluso baja. Es uno de los patrones de fallo más desconcertantes en la operación de Redis: las cuentas no cuadran, y los equipos suelen pasar días persiguiendo al culpable equivocado antes de dar con el real.

Este artículo recorre el diagnóstico y la solución a partir de una investigación real en producción que duró varias semanas, incluidos los comandos y los umbrales exactos que importaron.

Si el número de claves no cambia, ¿por qué sigue creciendo la memoria?

En la inmensa mayoría de los casos, la respuesta es: no son sus claves, es su índice.

Si utiliza RediSearch (el módulo de texto completo e índices secundarios) o cualquier módulo de indexación similar, el propio índice consume memoria con independencia de su keyspace principal. Un índice que crece sin límite, a menudo porque se reconstruye o se actualiza con mucha más frecuencia de la prevista, puede acercarse a su límite de maxmemory mientras DBSIZE no muestra nada anómalo.

Así se diagnosticó directamente en una evaluación de Redis en varias sesiones: el equipo confirmó que una fuga de memoria estaba ligada al plugin de indexación de texto completo de Redis, con un uso de memoria que se acercaba al 60 % y provocaba caídas durante las operaciones de reindexación. Justin Clark y Eugene Abovsky lo identificaron como un error de software del módulo de indexación, no como un problema de hardware o de configuración, y en absoluto como algo que ocurriera en el keyspace principal.

Primer paso de diagnóstico: ejecute FT.INFO <index_name> en cada uno de sus índices de búsqueda y fíjese en la huella de memoria del índice que se notifica. Compárela con el used_memory total de INFO memory. Si el índice representa una parte desproporcionada y creciente, ha encontrado el origen de la fuga: no está en los datos, sino en la estructura del índice que hay encima de ellos.

¿Qué provoca exactamente que un índice pierda memoria de esta forma?

La causa raíz más habitual es una reindexación excesiva provocada por actualizaciones de alta frecuencia y poco valor.

En una investigación en producción, el equipo atribuyó la fuga a las actualizaciones de heartbeat de los dispositivos: cada heartbeat provocaba una reindexación completa del documento asociado, aunque el cambio real fuera insignificante. Cada una de esas reindexaciones dejaba memoria que no se recuperaba y, como los heartbeats se enviaban constantemente, la fuga se acumulaba durante horas hasta que la instancia se caía.

Un segundo factor identificado en la misma investigación: indexar campos que no necesitan indexarse, como los campos UUID. Indexar un campo de alta cardinalidad como un UUID infla considerablemente la huella de memoria del índice a cambio de un beneficio mínimo en las consultas, ya que los UUID rara vez son objeto de consultas por rango o de búsquedas aproximadas.

Preguntas de diagnóstico para su propio despliegue:

  • ¿Qué campos se están indexando realmente y las consultas los usan todos?
  • ¿Qué provoca la actualización de un documento: un cambio de estado significativo o una señal de alta frecuencia, como un heartbeat o un tic de marca de tiempo?
  • ¿Hay un job de reindexación programado y realmente termina y libera memoria, o falla sin avisar?

¿Cuál es la forma más rápida de estabilizar una instancia de Redis que está perdiendo memoria ahora mismo?

Si está en pleno incidente, con la memoria acercándose al límite y una caída inminente, existe un remedio provisional probado: eliminar y reconstruir el índice afectado.

No resuelve la causa raíz, pero recupera de forma fiable la memoria perdida como mitigación inmediata. En un incidente, eliminar y reconstruir el índice redujo el uso de memoria del 50 % al 36 % del máximo configurado, margen suficiente para estabilizar el sistema mientras se desarrollaba la solución de fondo.

El procedimiento provisional:

  1. Confirme con FT.INFO qué índice está creciendo de forma desproporcionada
  2. Si es posible, programe la eliminación y reconstrucción para una ventana de poco tráfico: reconstruir un índice grande no es instantáneo y afecta brevemente a la disponibilidad de las consultas
  3. FT.DROPINDEX <index_name> (sin DD si quiere conservar los datos hash/JSON subyacentes, ya que solo quiere eliminar la estructura del índice, no sus claves)
  4. Vuelva a crear el índice con FT.CREATE
  5. Monitorice después FT.INFO e INFO memory para confirmar que la memoria recuperada se mantiene

En los entornos de producción en los que el problema se repite, puede automatizarse como un job programado, pero trátelo como una mitigación, no como una solución. Automatizar un parche sin atacar lo que provoca la reindexación solo aleja la ventana de la caída.

¿Qué cambios de configuración evitan realmente la caída?

Además de corregir lo que provoca la reindexación, dos cambios a nivel de configuración reducen el alcance del impacto mientras se desarrolla la solución de fondo:

Defina un maxmemory explícito con una política de desalojo adecuada. En un incidente, el equipo implantó un nuevo ajuste de memoria máxima junto con una política de desalojo allkeys-lru precisamente para proteger la estabilidad del sistema para los clientes críticos, sacrificando algo de tasa de aciertos de la caché a cambio de la garantía de que la instancia no se caería por agotamiento de memoria. Es una contrapartida deliberada de estabilidad frente a rendimiento durante la investigación de una fuga en curso, no necesariamente una postura permanente.

Ajuste el comportamiento de la recolección de basura cuando proceda. En despliegues de Redis con muchos módulos se probó un ajuste agresivo del GC precisamente para mejorar el comportamiento de retención de memoria; merece la pena investigarlo si el fabricante de su módulo expone una configuración relacionada con el GC.

Separe los datos de alta frecuencia y poco valor de las claves indexadas. La solución más duradera identificada en la investigación de fondo fue de arquitectura: separar por completo los datos volátiles de tipo heartbeat de las claves indexadas, para que los pings de estado rutinarios no provoquen ninguna reindexación. Si el patrón de su aplicación implica actualizaciones frecuentes de un pequeño subconjunto de campos de un documento por lo demás estable, plantéese guardar los campos volátiles en una clave aparte y sin indexar.

¿Debo actualizar mi versión de Redis para resolverlo?

Puede ser, pero valide primero el error concreto. En la investigación a la que se refiere este artículo, parte del diagnóstico consistió en comprobar si la fuga de memoria era un problema conocido y corregido en versiones posteriores de Redis, ya que el entorno afectado ejecutaba una versión antigua. Se usó un análisis independiente del código fuente del módulo de búsqueda para determinar si las versiones con parches conocidas resolvían el patrón de fuga concreto observado.

Antes de comprometerse con una actualización como solución, confirme:

  • Si la versión concreta del módulo que ejecuta tiene una corrección documentada de la fuga de memoria en una versión posterior
  • Si la fuga está realmente en el propio módulo o en su patrón de indexación (una actualización no resolverá un problema de indexación de UUID)
  • Si dispone de un plan de marcha atrás probado, ya que las actualizaciones de versión de Redis en producción exigen el mismo cuidado que las de cualquier servicio con estado

Objetivos de respuesta desde 15 minutos, según el plan. Ingenieros sénior asignados.

Contacto

¿Es un motivo para plantearse migrar a Valkey?

Merece la pena evaluarlo dentro de un plan de corrección más amplio, sobre todo si también está sopesando cuestiones de licencias. Algunos equipos que se enfrentaban justo a este tipo de inestabilidad relacionada con módulos han aprovechado la investigación para probar en paralelo la compatibilidad con Valkey, validando si su código cliente y sus patrones de indexación se comportan exactamente igual en Valkey antes de decantarse en un sentido u otro. Tratamos esa decisión con más detalle por separado.

¿Cómo debería ser la monitorización continua una vez estabilizada la situación?

Una vez resuelto el riesgo inmediato de caída, implante una monitorización permanente para que el problema no vuelva a aparecer sin avisar:

  • Siga la memoria de los índices como una métrica independiente, no solo el used_memory total. Un panel que muestre la memoria de FT.INFO junto a la memoria total hace visible la próxima fuga con antelación, en lugar de al llegar al 60 % de uso.
  • Configure alertas sobre la frecuencia y la duración de los jobs de reindexación. Si el ritmo de reindexación cambia de forma inesperada (más frecuente, o fallando sin avisar), esa es su alerta temprana.
  • Compruebe que su política de desalojo de maxmemory se ajusta a su tolerancia real a la pérdida de datos. allkeys-lru protege la estabilidad pero desaloja datos cuando hay presión; si eso no es aceptable en su caso de uso, la verdadera solución tiene que estar en lo que provoca la reindexación, no en la política de desalojo.

Obtenga ayuda con las fugas de memoria y el crecimiento de índices en Redis

¿Ve cómo sube la memoria de Redis sin relación con su número de claves? Es un patrón que rastreamos hasta su verdadero origen: crecimiento de índices, causas de reindexación y errores de módulos que un ajuste genérico de la infraestructura no detecta. AceMQ ofrece soporte empresarial de Redis para entornos de producción. Hable con un ingeniero de AceMQ.

Este es el tercero de los siete pasos de la guía de fiabilidad de Redis, que aborda los problemas en el orden en que se presentan en un entorno de producción.

Preguntas frecuentes

Si el número de claves de Redis no cambia, ¿por qué sigue creciendo la memoria?

En la inmensa mayoría de los casos, el crecimiento procede de un índice, no de su keyspace. RediSearch y otros módulos de indexación similares consumen memoria con independencia del keyspace principal, y un índice que se reconstruye o se actualiza con demasiada frecuencia puede acercarse a maxmemory mientras DBSIZE no muestra nada anómalo. Ejecute FT.INFO <index_name> en cada índice de búsqueda y compare su huella de memoria con el used_memory total de INFO memory para confirmarlo.

¿Qué hace que un índice de Redis pierda memoria de esta forma?

La causa raíz más habitual es una reindexación excesiva provocada por actualizaciones de alta frecuencia y poco valor; por ejemplo, un campo de heartbeat que dispara una reindexación completa del documento en cada ping. Un segundo factor es indexar campos que no necesitan indexarse, como los campos UUID de alta cardinalidad, que inflan la huella de memoria del índice a cambio de un beneficio mínimo en las consultas.

¿Cuál es la forma más rápida de estabilizar una instancia de Redis que está perdiendo memoria ahora mismo?

Eliminar y reconstruir el índice afectado. No resuelve la causa raíz, pero recupera de forma fiable la memoria perdida como mitigación inmediata: en un incidente, redujo el uso del 50 % al 36 % del máximo configurado. Prográmelo para una ventana de poco tráfico, confirme con FT.INFO qué índice crece y, después, ejecute FT.DROPINDEX (sin DD para conservar sus datos) y vuelva a crearlo con FT.CREATE.

¿Qué cambios de configuración evitan realmente una caída de Redis por fuga de memoria?

Defina un maxmemory explícito con una política de desalojo allkeys-lru para que la instancia no pueda caerse por agotamiento de memoria, aunque sea a costa de reducir algo la tasa de aciertos de la caché. Ajuste el comportamiento de la recolección de basura si el fabricante del módulo lo permite. La solución más duradera es separar los datos de alta frecuencia y poco valor, como los heartbeats, de las claves indexadas, para que las actualizaciones rutinarias dejen de provocar reindexaciones.

¿Debo actualizar mi versión de Redis para resolver una fuga de memoria?

Puede ser, pero valide primero el error concreto. Confirme si la versión del módulo que ejecuta tiene una corrección documentada de la fuga en una versión posterior, si la fuga está realmente en el módulo o en su patrón de indexación, y si dispone de un plan de marcha atrás probado antes de comprometerse con una actualización.

¿Es una fuga de memoria de Redis un motivo para plantearse migrar a Valkey?

Merece la pena evaluarlo dentro de un plan de corrección más amplio, sobre todo si también está sopesando cuestiones de licencias. Probar en paralelo la compatibilidad con Valkey, validando que su código cliente y sus patrones de indexación se comportan exactamente igual, le permite valorar la opción sin comprometerse de antemano.

¿Cómo debería ser la monitorización continua tras estabilizar una fuga de memoria de Redis?

Siga la memoria de los índices como una métrica independiente junto al used_memory total, en lugar de fiarse solo de las cifras agregadas. Configure alertas sobre la frecuencia y la duración de los jobs de reindexación para detectar pronto cualquier cambio inesperado. Compruebe que su política de desalojo de maxmemory se ajusta realmente a su tolerancia a la pérdida de datos, ya que allkeys-lru protege la estabilidad pero desaloja datos cuando hay presión.

Consulta gratuita

Que un experto revise su despliegue de Redis

Tanto si está resolviendo un incidente en producción como si planifica una migración o quiere una segunda opinión sobre su arquitectura, nuestro equipo está preparado. Sin discursos comerciales, solo respuestas.

Escríbanos