Redis

¿Por qué la memoria de Redis sigue creciendo si la cantidad de keys no aumenta?

Scott Sternloff

Por Scott Sternloff, Arquitecto empresarial sénior

LinkedIn · Actualizado el

MAXINDEX GROWINGMemory Leak, Flat Key Count
En esta página

Revisa INFO memory y la memoria usada no deja de subir. Revisa la cantidad de keys y está estable, o incluso bajando. Es uno de los patrones de falla más desconcertantes en la operación de Redis: los números no cuadran, y los equipos suelen pasar días persiguiendo al culpable equivocado antes de encontrar el real.

Este artículo recorre el diagnóstico y la solución a partir de una investigación real en producción que duró varias semanas, incluidos los comandos y umbrales exactos que resultaron determinantes.

Si la cantidad de keys no cambia, ¿por qué sigue creciendo la memoria?

En la inmensa mayoría de los casos, la respuesta es: no son sus keys, es su índice.

Si usa RediSearch (el módulo de búsqueda de texto completo e índices secundarios) o cualquier módulo de indexación similar, el propio índice consume memoria de forma independiente del keyspace principal. Un índice que crece sin límite, a menudo porque se reconstruye o se actualiza con mucha más frecuencia de la prevista, puede acercarse a su límite de maxmemory mientras DBSIZE no muestra nada fuera de lo normal.

Así se diagnosticó directamente en una evaluación de Redis de varias sesiones: el equipo confirmó que una fuga de memoria estaba vinculada al plugin de indexación de texto completo de Redis, con un uso de memoria que subía hacia el 60% y provocaba caídas durante las operaciones de reindexación. Justin Clark y Eugene Abovsky lo identificaron como un bug de software en el módulo de indexación: no era un problema de hardware ni de configuración, y no ocurría en absoluto en el keyspace principal.

Primer paso de diagnóstico: ejecute FT.INFO <index_name> en cada uno de sus índices de búsqueda y revise el consumo de memoria que reporta el índice. Compárelo con su used_memory total de INFO memory. Si el índice representa una porción desproporcionada y creciente, encontró el origen de la fuga: no está en los datos, sino en la estructura del índice que se apoya sobre ellos.

¿Qué provoca concretamente que un índice tenga una fuga de memoria así?

La causa raíz más común es una reindexación excesiva provocada por actualizaciones muy frecuentes y de poco valor.

En una investigación en producción, el equipo rastreó la fuga hasta las actualizaciones de heartbeat de los dispositivos: cada heartbeat disparaba una reindexación completa del documento asociado, aunque el cambio real fuera trivial. Cada una de esas reindexaciones dejaba memoria que no se recuperaba y, como los heartbeats se enviaban constantemente, la fuga se acumulaba durante horas hasta que la instancia se caía.

Un segundo factor identificado en la misma investigación: indexar campos que no necesitan indexarse, como los campos UUID. Indexar un campo de alta cardinalidad como un UUID infla considerablemente el consumo de memoria del índice con muy poco beneficio para las consultas, ya que los UUID rara vez son objeto de consultas por rango o de búsqueda difusa.

Preguntas de diagnóstico para su propio despliegue:

  • ¿Qué campos se están indexando realmente, y las consultas los usan todos?
  • ¿Qué dispara la actualización de un documento: un cambio de estado relevante o una señal de alta frecuencia, como un heartbeat o un timestamp que avanza?
  • ¿Hay un trabajo de reindexación programado? ¿Realmente termina y libera memoria, o falla sin avisar?

¿Cuál es la forma más rápida de estabilizar una instancia de Redis con una fuga de memoria en curso?

Si está en medio de un incidente, con la memoria acercándose al límite y una caída inminente, existe una solución provisional probada: eliminar y reconstruir el índice afectado.

No corrige la causa raíz, pero recupera de forma confiable la memoria perdida como mitigación inmediata. En un incidente, eliminar y reconstruir el índice redujo el uso de memoria del 50% al 36% del máximo configurado, margen suficiente para estabilizar el sistema mientras se desarrollaba la solución de fondo.

El procedimiento provisional:

  1. Confirme con FT.INFO qué índice está creciendo de forma desproporcionada
  2. Si es posible, programe la eliminación y reconstrucción para una ventana de poco tráfico: reconstruir un índice grande no es instantáneo y afecta brevemente la disponibilidad de las consultas
  3. FT.DROPINDEX <index_name> (sin DD si quiere conservar los datos hash/JSON subyacentes, ya que solo quiere eliminar la estructura del índice, no sus keys)
  4. Vuelva a crear el índice con FT.CREATE
  5. Monitoree después FT.INFO e INFO memory para confirmar que la memoria recuperada se mantiene

En entornos de producción donde esto se repite, se puede automatizar como un trabajo programado, pero trátelo como una mitigación, no como una solución. Automatizar un workaround sin atacar el disparador de la reindexación solo aleja la próxima caída.

¿Qué cambios de configuración evitan realmente la caída?

Además de corregir el disparador de la reindexación, dos cambios a nivel de configuración reducen el radio de impacto mientras se desarrolla la solución de fondo:

Defina un maxmemory explícito con una política de desalojo adecuada. En un incidente, el equipo implementó un nuevo límite de memoria máxima junto con una política de desalojo allkeys-lru, específicamente para proteger la estabilidad del sistema para clientes críticos: se sacrificó algo de tasa de aciertos de caché a cambio de la garantía de que la instancia no se caería por agotamiento de memoria. Es una concesión deliberada de rendimiento a favor de la estabilidad durante una investigación de fuga activa, no necesariamente una postura permanente.

Ajuste el comportamiento del garbage collection cuando corresponda. En despliegues de Redis con uso intensivo de módulos, se probó un ajuste agresivo del GC específicamente para mejorar la retención de memoria. Vale la pena investigarlo si el proveedor de su módulo expone configuración relacionada con el GC.

Separe los datos de alta frecuencia y poco valor de las keys indexadas. La solución más duradera identificada en la investigación fue de arquitectura: separar por completo los datos volátiles de tipo heartbeat de las keys indexadas, para que los pings de estado de rutina no disparen ninguna reindexación. Si el patrón de su aplicación implica actualizaciones frecuentes de unos pocos campos en un documento por lo demás estable, considere guardar los campos volátiles en una key separada y sin indexar.

¿Debo actualizar mi versión de Redis para corregir esto?

Posiblemente, pero primero valide el bug específico. En la investigación citada a lo largo de este artículo, parte del diagnóstico consistió en revisar si la fuga de memoria era un problema conocido y corregido en versiones posteriores de Redis, ya que el entorno afectado ejecutaba una versión antigua. Se analizó de forma independiente el código fuente del módulo de búsqueda para determinar si las versiones con parches conocidos resolvían el patrón de fuga específico observado.

Antes de apostar por una actualización como solución, confirme:

  • Si la versión específica del módulo que ejecuta tiene una corrección documentada de la fuga en una versión posterior
  • Si la fuga está realmente en el módulo o en su patrón de indexación (una actualización no resolverá un problema de indexación de UUID)
  • Si tiene un plan de rollback probado, ya que actualizar la versión de Redis en producción exige el mismo cuidado que cualquier actualización de un servicio con estado

Objetivos de respuesta desde 15 minutos, según el plan. Ingenieros sénior asignados.

Contáctenos

¿Es un motivo para considerar migrar a Valkey?

Vale la pena evaluarlo como parte de un plan de remediación más amplio, sobre todo si también está analizando cuestiones de licenciamiento. Algunos equipos que enfrentaban exactamente este tipo de inestabilidad relacionada con módulos aprovecharon la investigación para probar en paralelo la compatibilidad con Valkey, validando si su código cliente y sus patrones de indexación actuales se comportaban igual en Valkey antes de comprometerse en cualquier dirección. Tratamos esa decisión con más detalle en otro artículo.

¿Cómo debería ser el monitoreo continuo una vez estabilizada la instancia?

Una vez atendido el riesgo inmediato de caída, implemente un monitoreo permanente para que esto no vuelva a ocurrir sin que nadie lo note:

  • Mida la memoria del índice como una métrica separada, no solo el used_memory total. Un panel que muestre la memoria de FT.INFO junto a la memoria total hace visible la próxima fuga a tiempo, y no cuando ya está en el 60% de utilización.
  • Configure alertas sobre la frecuencia y la duración de los trabajos de reindexación. Si la cadencia de reindexación cambia de forma inesperada, porque se vuelve más frecuente o deja de terminar sin avisar, esa es su alerta temprana.
  • Verifique que su política de desalojo de maxmemory corresponda a su tolerancia real a la pérdida de datos. allkeys-lru protege la estabilidad, pero desaloja datos bajo presión; si eso no es aceptable para su caso de uso, la solución real tiene que ser el disparador de la reindexación, no la política de desalojo.

Obtenga ayuda con fugas de memoria y crecimiento de índices en Redis

¿La memoria de Redis sube sin relación con la cantidad de keys? Es un patrón que rastreamos hasta su origen real: crecimiento de índices, disparadores de reindexación y bugs de módulos que el ajuste genérico de infraestructura no detecta. AceMQ ofrece soporte empresarial de Redis para entornos de producción. Hable con un ingeniero de AceMQ.

Este es el paso tres de siete de la guía de confiabilidad de Redis, que aborda los problemas en el orden en que aparecen en un entorno de producción.

Preguntas frecuentes

Si la cantidad de keys de Redis no cambia, ¿por qué sigue creciendo la memoria?

En la inmensa mayoría de los casos, el crecimiento viene de un índice, no de su keyspace. RediSearch y otros módulos de indexación similares consumen memoria de forma independiente del keyspace principal, y un índice que se reconstruye o se actualiza con demasiada frecuencia puede acercarse a maxmemory mientras DBSIZE no muestra nada fuera de lo normal. Ejecute FT.INFO <index_name> en cada índice de búsqueda y compare su consumo de memoria con el used_memory total de INFO memory para confirmarlo.

¿Qué hace que un índice de Redis tenga una fuga de memoria así?

La causa raíz más común es una reindexación excesiva provocada por actualizaciones muy frecuentes y de poco valor; por ejemplo, un campo de heartbeat que dispara una reindexación completa del documento en cada ping. Un segundo factor es indexar campos que no necesitan indexarse, como campos UUID de alta cardinalidad, que inflan el consumo de memoria del índice con muy poco beneficio para las consultas.

¿Cuál es la forma más rápida de estabilizar una instancia de Redis con una fuga de memoria en curso?

Elimine y reconstruya el índice afectado. No corrige la causa raíz, pero recupera de forma confiable la memoria perdida como mitigación inmediata: en un incidente, el uso bajó del 50% al 36% del máximo configurado. Prográmelo para una ventana de poco tráfico, confirme con FT.INFO cuál es el índice que crece y luego ejecute FT.DROPINDEX (sin DD, para conservar sus datos) y vuelva a crearlo con FT.CREATE.

¿Qué cambios de configuración evitan realmente una caída de Redis por fuga de memoria?

Defina un maxmemory explícito con una política de desalojo allkeys-lru para que la instancia no se caiga por agotamiento de memoria, aunque eso degrade en algo la tasa de aciertos de caché. Ajuste el comportamiento del garbage collection si el proveedor de su módulo lo permite. La solución más duradera es separar los datos de alta frecuencia y poco valor, como los heartbeats, de sus keys indexadas, para que las actualizaciones de rutina dejen de disparar reindexaciones.

¿Debo actualizar mi versión de Redis para corregir una fuga de memoria?

Posiblemente, pero primero valide el bug específico. Confirme si la versión del módulo que ejecuta tiene una corrección documentada de la fuga en una versión posterior, si la fuga está realmente en el módulo o en su patrón de indexación, y si tiene un plan de rollback probado antes de comprometerse con una actualización.

¿Una fuga de memoria en Redis es motivo para considerar migrar a Valkey?

Vale la pena evaluarlo como parte de un plan de remediación más amplio, sobre todo si también está analizando cuestiones de licenciamiento. Probar en paralelo la compatibilidad con Valkey, validando que su código cliente y sus patrones de indexación se comporten igual, le permite evaluar la opción sin comprometerse de antemano.

¿Cómo debería ser el monitoreo continuo después de estabilizar una fuga de memoria en Redis?

Mida la memoria del índice como una métrica separada junto al used_memory total, en lugar de basarse solo en cifras agregadas. Configure alertas sobre la frecuencia y la duración de los trabajos de reindexación para detectar a tiempo cualquier cambio inesperado. Verifique que su política de desalojo de maxmemory corresponda realmente a su tolerancia a la pérdida de datos, ya que allkeys-lru protege la estabilidad pero desaloja datos bajo presión.

Consulta gratuita

Que un experto revise su implementación de Redis

Ya sea que esté resolviendo un incidente en producción, planificando una migración o quiera una segunda opinión sobre su arquitectura, nuestro equipo está listo. Sin discursos de venta, solo respuestas.

Escríbanos