BlogRedis

Resolución de problemas de Redis: incidencias en producción y cómo corregirlas

Scott Sternloff

Por Scott Sternloff, Arquitecto empresarial sénior

LinkedIn · Actualizado el · 13 min de lectura

Resolución de problemas de Redis: incidencias en producción y cómo corregirlas
En esta página

La mayoría de los incidentes de Redis en producción se reducen a cinco cosas: la memoria que alcanza maxmemory, un comando O(N) que bloquea el event loop de un solo hilo, la expulsión que borra en silencio claves que la aplicación todavía necesitaba, la replicación que se retrasa y fuerza una resincronización completa, o las conexiones que agotan el límite de clientes. Compruébelas en ese orden antes de leer un fichero de log.

Resolver bien los problemas de Redis consiste, sobre todo, en comprobar primero lo correcto. A continuación están los fallos que más vemos en entornos empresariales, cada uno con el comando que lo confirma, en lugar de una descripción que usted tenga que traducir a un comando.

La resolución de problemas de Redis empieza con tres comandos

La resolución de problemas de Redis se tuerce cuando se recurre primero a los logs. Los logs de Redis son escasos por diseño: la mayoría de los fallos que se describen a continuación no dejan ni una línea en el log. El estado del servidor, en cambio, sí.

INFO                       # role, uptime, clients, persistence, replication
INFO memory                # used_memory, maxmemory, fragmentation
SLOWLOG GET 25             # commands that exceeded the slow-log threshold

Tres preguntas, en este orden:

  1. ¿Se ha quedado sin memoria? Un used_memory igual o cercano a maxmemory explica las escrituras rechazadas, las expulsiones y buena parte de los avisos de «Redis va lento».
  2. ¿Ha bloqueado el servidor un solo comando? Redis ejecuta los comandos en un único hilo. Un comando lento paraliza a todos los clientes, y el slow log es el único sitio donde queda registrado.
  3. ¿Está este nodo en el estado que usted cree? Una réplica que fue promovida, o un primario que pasó a ser réplica sin avisar tras un failover, produce errores que no se parecen en nada a su causa.

Resista la tentación de reiniciar. Un reinicio vacía el slow log, pone a cero los contadores de INFO y descarta la serie temporal de latencia, con lo que un problema diagnosticable se convierte en una anécdota.

1. ¿Por qué Redis devuelve «OOM command not allowed»?

Problema. Las escrituras fallan con OOM command not allowed when used memory > 'maxmemory'. Las lecturas siguen funcionando, así que la monitorización indica que el servicio está activo mientras la aplicación funciona a medias.

CONFIG GET maxmemory
CONFIG GET maxmemory-policy

Si maxmemory-policy es noeviction, Redis está haciendo exactamente lo que se le ha indicado: rechazar escrituras en lugar de borrar datos. Es lo correcto para un almacén de datos y lo incorrecto para una caché.

Solución. Decida cuál de las dos está ejecutando. Para una caché, configure una política de expulsión y deje que Redis recupere espacio; desglosamos las ocho opciones en política de expulsión de Redis. Para un almacén de datos, el error es una señal de capacidad; subir maxmemory en un host que no puede respaldarlo convierte un error limpio en un OOM kill del kernel.

Hay una trampa que acaba con más sesiones de resolución de problemas de Redis de lo que debería: maxmemory con valor 0 significa que no hay ningún límite. Un Redis sin límite crece hasta que el kernel lo mata, y el kernel no envía antes un error educado.

2. ¿Por qué Redis va lento si la CPU y la memoria parecen estar bien?

Problema. Picos de latencia sin presión de memoria, sin swap y con la CPU casi ociosa. La causa es casi siempre la misma: Redis procesa los comandos en un solo hilo, así que un comando O(N) sobre una colección grande retiene ese hilo mientras todos los demás clientes esperan.

SLOWLOG GET 25
CONFIG GET slowlog-log-slower-than     # microseconds

El slow log registra solo el tiempo de ejecución (excluye el tiempo de comunicación con el cliente), así que una entrada significa que el servidor estuvo realmente bloqueado durante ese tiempo. Cada entrada incluye la duración en microsegundos, los argumentos del comando y la dirección y el puerto del cliente, lo que normalmente basta para identificar el servicio culpable sin instrumentarlo.

Los culpables habituales: KEYS *, SMEMBERS sobre un set grande, HGETALL sobre un hash sobredimensionado, LRANGE key 0 -1 sin límites y scripts Lua largos, que se ejecutan de forma atómica y bloquean durante todo su cuerpo.

Solución. Sustituya las lecturas de colecciones completas por iteración basada en cursor (SCAN, SSCAN, HSCAN, ZSCAN), que devuelve bloques acotados en lugar de una única llamada bloqueante. Después, averigüe cómo ha llegado a ser tan grande la colección:

redis-cli --bigkeys      # biggest keys by element count
redis-cli --memkeys      # biggest keys by bytes

Ambos recorren el keyspace con SCAN, no con KEYS, así que son seguros en producción. Añada -i 0.01 para ralentizarlos en una instancia cargada.

Antes de seguir, active la monitorización de latencia. latency-monitor-threshold vale 0 por defecto, lo que desactiva el subsistema por completo, de modo que LATENCY DOCTOR no informa de nada y la gente concluye que la herramienta no funciona. Es el callejón sin salida más habitual al resolver problemas de Redis.

CONFIG SET latency-monitor-threshold 100     # milliseconds

A partir de ahí, Redis registra los picos asociados a eventos con nombre: command, fork, expire-cycle, eviction-cycle, la familia aof-* y active-defrag-cycle. Cuando el incidente se repite, LATENCY LATEST y LATENCY DOCTOR le dicen cuál es. Que LATENCY LATEST señale fork y no command es la lectura más útil de todo este artículo, porque indica que el problema es la persistencia, no sus consultas.

3. ¿Por qué Redis se bloquea durante las copias de seguridad?

Problema. Picos de latencia regulares y rítmicos, a menudo coincidentes con una ventana de copia de seguridad.

INFO persistence     # rdb_bgsave_in_progress, latest_fork_usec, rdb_last_bgsave_status
LATENCY HISTORY fork

Redis genera las instantáneas haciendo un fork de un proceso hijo. Ese fork es el bloqueo: fork(2) tiene que copiar las tablas de páginas del proceso, y la documentación de Redis es explícita al respecto: «puede llevar mucho tiempo si el conjunto de datos es grande, y puede hacer que Redis deje de atender a los clientes durante algunos milisegundos o incluso durante un segundo si el conjunto de datos es muy grande y el rendimiento de la CPU no es bueno». latest_fork_usec le indica la duración del último fork. Si ahí ve cientos de miles de microsegundos, esa es su latencia.

Solución, por orden de frecuencia con la que resulta ser la correcta: trasladar las instantáneas a una réplica para que el fork se produzca en un nodo que nadie consulta; revisar el host, ya que el coste del fork depende sobre todo del tamaño de las tablas de páginas y del hipervisor; o prescindir por completo de RDB en una instancia cuyos datos se pueden reconstruir. La persistencia es la respuesta a más tickets de resolución de problemas de Redis que el ajuste de consultas.

El fork tiene además una consecuencia de memoria que tumba instancias directamente. El copy-on-write duplica cada página modificada durante el guardado, así que la memoria del proceso se acerca al doble del conjunto de datos con carga de escritura. Investigamos caídas repetidas en el clúster de un cliente cuya utilización declarada nunca superó aproximadamente el 60 %: el fork lo explicaba todo, y la solución fue ajustar el memory overcommit del kernel, no ningún parámetro de Redis. El mismo mecanismo está detrás de los fallos que se describen en alta disponibilidad en Redis.

Ayuda con la latencia y las caídas de Redis

¿Ve latencias o caídas de Redis que sus métricas no explican? Suelen estar por debajo de Redis: en el comportamiento del fork, la fragmentación del asignador de memoria o el hipervisor, que es donde la resolución de problemas de Redis deja de ser un ejercicio de Redis. AceMQ realiza evaluaciones estructuradas que las localizan y ofrece soporte empresarial de Redis para entornos de producción. Hable con un ingeniero de AceMQ.

4. ¿Por qué desaparecen claves antes de que venza su TTL?

Problema. Las claves desaparecen antes de tiempo y la aplicación empieza a llenarse de código defensivo contra lo que se supone que es un bug de integridad de datos.

INFO stats     # evicted_keys, expired_keys, keyspace_hits, keyspace_misses

Si evicted_keys sube, la instancia está en su límite y está recuperando espacio según la política configurada. Que suba expired_keys es el comportamiento normal del TTL y no es lo mismo.

Solución. Un aumento de las expulsiones significa que la instancia está infradimensionada, que la política no es la adecuada para el patrón de acceso o que hay una política volatile-* en un keyspace donde ninguna clave tiene TTL; en ese caso no tiene candidatas a expulsión y se comporta como noeviction aunque su configuración diga otra cosa.

Antes de ajustar nada: redis-cli --hotkeys identifica las claves a las que más se accede, pero solo funciona cuando maxmemory-policy es una política *-lfu, porque lee los contadores LFU. En una instancia LRU no le dará lo que busca.

5. ¿Por qué mi réplica se retrasa o se resincroniza?

Problema. Las réplicas se quedan atrás y después realizan una resincronización completa, que hace un fork del primario y provoca un pico de latencia en el peor momento posible. Ejecute en ambos nodos:

INFO replication     # role, master_link_status, master_repl_offset, connected_slaves

Compare el offset de la réplica con master_repl_offset en el primario y confirme que master_link_status está en up.

Solución. Las réplicas de Redis se reconectan e intentan una resincronización parcial, reproduciendo solo el flujo que se han perdido, pero solo mientras esos datos sigan en el backlog de replicación del primario. Si el backlog se agota por una desconexión larga o por una réplica que no da abasto, Redis recurre a una resincronización completa: guardado en segundo plano, transferencia del conjunto de datos completo y recarga.

Así que la palanca es el backlog. Dimensione repl-backlog-size para la peor desconexión que espere superar, no para la media. En un enlace WAN o entre zonas de disponibilidad, el valor por defecto suele quedarse corto en un orden de magnitud, y el síntoma es una tormenta de resincronizaciones que parece un fallo de red.

Hay dos detalles que pillan desprevenidos a los equipos. Las réplicas ignoran maxmemory por defecto: es el primario quien gestiona la expulsión mediante DEL replicados, así que una réplica puede superar el límite del primario y quedarse realmente sin memoria. Y una réplica detenida con SHUTDOWN puede resincronizarse parcialmente; una que se mata, no.

6. ¿Por qué los clientes reciben errores de conexión?

Problema. ERR max number of clients reached, o timeouts de conexión, contra un servidor de aspecto sano.

INFO clients               # connected_clients, blocked_clients
CONFIG GET maxclients      # read it — do not assume the default
CLIENT LIST                # per-connection age, idle time, last command

No se fíe del valor por defecto de maxclients que recuerde. Redis lo reduce al arrancar si el límite de descriptores de fichero del sistema operativo no admite el valor configurado, así que la cifra efectiva en un despliegue en contenedores suele estar muy por debajo de lo que dice el fichero de configuración.

Solución. CLIENT LIST distingue dos patrones. Miles de conexiones con un age bajo y un idle alto significan que la aplicación abre una conexión por petición y necesita un pool: una corrección en la aplicación, no en Redis. Unas pocas conexiones con un age enorme, una de ellas bloqueada, significan que algo mantiene una conexión con BLPOP o similar y nunca la libera.

Si Redis está delante de una carga de trabajo de colas y ve rotación de conexiones con carga, la verdadera pregunta es si Redis debe estar en esa ruta. Analizamos el equilibrio en usar Redis y RabbitMQ juntos.

7. ¿Por qué falla mi Redis Cluster tras un resharding?

Problema. CLUSTERDOWN Hash slot not served, o clientes que rebotan entre redirecciones MOVED y ASK tras una migración de slots.

CLUSTER INFO                          # cluster_state, cluster_slots_assigned
CLUSTER SHARDS                        # slot ranges per shard
redis-cli --cluster check <host>:<port>

cluster_state:ok exige que los 16.384 hash slots estén asignados. Un resharding interrumpido deja slots en estado de migración o importación, y el clúster se niega a responder antes que responder de forma incoherente.

Solución. Deje que --cluster check informe de los slots abiertos antes de tocar nada y utilice redis-cli --cluster fix para completar la migración en lugar de asignar slots a mano. Un CLUSTER SETSLOT manual en un clúster que no se entiende del todo es la forma en que un resharding atascado acaba en pérdida de datos.

Confirme también que los clientes usan el modo compatible con clúster (-c en redis-cli). Un cliente que no es de clúster funciona sin problemas contra un nodo del clúster hasta que el primer resharding mueve un slot, y entonces falla justo con las claves que se han movido: un caso de resolución de problemas de Redis que parece una pérdida de datos y no lo es.

8. ¿Por qué la aplicación da timeout si Redis responde rápido?

Porque el timeout no está en Redis. Mida las dos mitades por separado:

redis-cli --latency                     # round-trip PING latency
redis-cli --intrinsic-latency 5         # host scheduler latency — run ON the Redis server

--intrinsic-latency no toca Redis. Mide lo que pueden hacer el kernel y el hipervisor, y debe ejecutarse en la máquina que aloja Redis. Si la latencia intrínseca ya está en milisegundos, ningún ajuste de Redis le permitirá bajar de ahí: el problema es el host y, en un despliegue virtualizado, eso suele significar CPU steal.

Si la latencia de ida y vuelta es inferior al milisegundo y la aplicación sigue dando timeout, la cola está en el lado del cliente: agotamiento del pool, una llamada síncrona dentro de un event loop o un timeout de cliente inferior a la duración real del comando.

Cuándo escalar un caso de resolución de problemas de Redis

La mayor parte de la resolución de problemas de Redis se puede hacer internamente: ajuste de la expulsión, búsqueda de comandos lentos, connection pooling, dimensionamiento del backlog, programación de instantáneas.

Escale cuando un paso en falso cueste más que una segunda opinión:

  • Caídas repetidas sin nada en INFO ni en los logs que las explique
  • Un clúster con slots sin asignar tras un resharding fallido
  • Réplicas que no completan una sincronización por muchas veces que lo reintenten
  • Memoria que sigue creciendo después de FLUSHALL: un problema de buffers o del asignador, no del keyspace
  • Cualquier incidente en el que esté a punto de forzar un cambio de estado sin saber qué nodo tiene los datos de referencia

Todos comparten un rasgo: el siguiente paso obvio destruye las pruebas. AceMQ ofrece soporte empresarial de Redis para entornos de producción: respuesta a incidentes, evaluaciones de clústeres, análisis forense de memoria y latencia y planificación de actualizaciones en Redis de código abierto, Redis Enterprise y servicios cloud gestionados.

Lo que ocurre después de escalar se explica en respuesta a incidentes de Redis 24/7, y lo que un escalado cubre contractualmente, en qué cubre realmente el soporte de Redis.

Dos análisis en profundidad sobre las causas de la mayoría de estos problemas: cómo dimensionar correctamente la memoria de Redis y Redis como cola de mensajes.

Este es el paso seis de siete de la guía de fiabilidad de Redis, que aborda los problemas en el orden en que aparecen en un entorno de producción.

Preguntas frecuentes

¿Por dónde empiezo a resolver problemas en Redis?

La resolución de problemas de Redis empieza con INFO y, después, INFO memory y SLOWLOG GET 25. Esos tres comandos responden a si la instancia se ha quedado sin memoria, si está expulsando claves y si un comando ha estado bloqueando el event loop. La mayoría de los incidentes se resuelven ahí.

¿Por qué Redis devuelve «OOM command not allowed»?

Se ha alcanzado el límite de maxmemory y maxmemory-policy es noeviction, así que Redis rechaza las escrituras en lugar de borrar datos. Las lecturas siguen funcionando, y por eso la aplicación parece funcionar a medias. Compruébelo con CONFIG GET maxmemory y CONFIG GET maxmemory-policy.

¿Por qué Redis va lento si la CPU y la memoria parecen estar bien?

Casi siempre se debe a un comando O(N) que acapara el bucle de comandos de un solo hilo. KEYS *, SMEMBERS sobre un set grande, HGETALL sobre un hash enorme y LRANGE sin límites bloquean a todos los demás clientes hasta que terminan. SLOWLOG GET señala al culpable.

¿Por qué LATENCY DOCTOR no muestra nada?

Porque la monitorización de latencia está desactivada por defecto: latency-monitor-threshold vale 0. Ejecute primero CONFIG SET latency-monitor-threshold 100, espere a que el problema se repita y después ejecute LATENCY DOCTOR. Es el callejón sin salida más habitual al resolver problemas de Redis.

¿Cómo encuentro claves grandes en Redis de forma segura?

redis-cli --bigkeys para el número de elementos y redis-cli --memkeys para el tamaño en bytes. Ambos utilizan SCAN en lugar de KEYS, así que son seguros en una instancia de producción con mucha actividad. Añada -i 0.01 para ralentizar aún más el recorrido.

¿Cómo compruebo el retraso de replicación de Redis?

Con INFO replication en ambos nodos. Compare master_repl_offset en el primario con el offset de la réplica y compruebe que master_link_status está en up. Una réplica que se retrasa tanto que agota el backlog de replicación fuerza una resincronización completa, que hace un fork del primario.

¿Por qué los clientes reciben errores de conexión si Redis está en marcha?

O bien se ha alcanzado el límite de clientes (INFO clients frente a CONFIG GET maxclients), o bien hay una fuga de conexiones porque la aplicación abre un cliente por petición en lugar de usar un pool. CLIENT LIST muestra la antigüedad, el tiempo de inactividad y el último comando de cada conexión.

¿Cuándo debo escalar en lugar de reiniciar?

Cuando un reinicio destruiría las pruebas: caídas repetidas sin causa visible en las métricas, un clúster con slots sin asignar, réplicas que no se sincronizan o pérdidas de datos sin explicación. Reiniciar primero es la forma de convertir un incidente recuperable en uno permanente.

Resolver problemas de Redis es, sobre todo, cuestión de disciplina: confirme el fallo con un comando antes de cambiar nada y cambie una sola cosa cada vez.

Fuentes

Scott Sternloff

Autor

Scott SternloffArquitecto empresarial sénior

Arquitecto empresarial sénior de AceMQ. Escribe aquí los contenidos técnicos: arquitectura, clustering y migraciones de RabbitMQ, Kafka y Redis.

Hablar con un ingeniero

¿Necesita ayuda con Redis?

Ingenieros sénior que lo gestionan en producción. Solicite un presupuesto o una consulta gratuita, sin discursos comerciales.

Consulta gratuita

Que un experto revise su despliegue de Redis

Tanto si está resolviendo un incidente en producción como si planifica una migración o quiere una segunda opinión sobre su arquitectura, nuestro equipo está preparado. Sin discursos comerciales, solo respuestas.

Escríbanos