BlogRedis

Redis como cola de mensajes: ¿puede Redis reemplazar a un broker de verdad?

Scott Sternloff

Por Scott Sternloff, Arquitecto empresarial sénior

LinkedIn · Actualizado el · 12 min de lectura

Redis como cola de mensajes: ¿puede Redis reemplazar a un broker de verdad?
On this page

Sí. Una cola de mensajes en Redis es una opción real, y hay tres formas de construirla: Lists para distribuir trabajo de forma simple, Pub/Sub para difusión de tipo fire-and-forget que no almacena nada y Streams para consumer groups con confirmaciones y entrega at-least-once. Streams es la única que se comporta como un broker real. Lo que se resigna en todos los casos es el enrutamiento, el TTL por mensaje, las prioridades y el dead-lettering, funcionalidades que terminará escribiendo usted mismo.

La pregunta casi nunca es si Redis puede hacerlo. Puede. La pregunta es qué pasa la primera vez que algo falla.

Lists vs. Pub/Sub vs. Streams

ListsPub/SubStreams
PatrónCola de trabajoDifusiónLog con consumer groups
Persistido en el keyspaceSíNoSí
Garantía de entregaAt-most-once por defectoAt-most-onceAt-least-once con grupos
ConfirmacionesNinguna integradaNingunaXACK, con una lista de pendientes
Consumer groupsNoNoSí
Reproducir el historialNo: lo que se extrae desapareceNoSí, por rango de IDs
Varios lectores independientesNoSí, todos reciben una copiaSí, por grupo
Uso típicoJobs en segundo planoInvalidación de caché, notificacionesProcesamiento de eventos que requiere durabilidad

Si se lleva una sola cosa de este artículo: Pub/Sub pierde mensajes por diseño, y no es un bug. La propia documentación de Redis lo dice sin rodeos.

¿Las Lists de Redis sirven como cola de mensajes?

Sí, y es el patrón de cola de mensajes más antiguo de Redis; sigue siendo la respuesta correcta para buena parte del procesamiento de jobs en segundo plano.

Un productor hace push con LPUSH. Un worker se bloquea en BRPOP, que espera un elemento en lugar de hacer polling. Varios workers sobre la misma clave compiten, y cada elemento va exactamente a uno de ellos. Es una cola de trabajo en dos comandos, sobre una infraestructura que ya opera.

LPUSH jobs:email '{"to":"user@example.com","template":"welcome"}'
BRPOP jobs:email 0

El modo de falla es el obvio. BRPOP elimina el elemento y se lo entrega al worker. Si ese worker muere a mitad del procesamiento, el elemento desaparece: nada sabe que estaba en curso y nada lo volverá a entregar.

La mitigación es el patrón de cola confiable: en lugar de extraer el elemento, moverlo de forma atómica a una lista de procesamiento por worker con BLMOVE (o el más antiguo BRPOPLPUSH) y luego borrarlo de esa lista una vez terminado el trabajo. Los elementos que quedan en una lista de procesamiento se pueden recuperar.

Funciona, y muchísimos sistemas en producción lo usan. Pero observe lo que construyó: un mecanismo de confirmación, un proceso que detecta listas de procesamiento abandonadas y una política de reintentos. Son funcionalidades de un broker que ahora viven en su aplicación, las mantiene su equipo y están tan probadas como usted las pruebe.

¿Redis Pub/Sub garantiza la entrega?

No, y es el mecanismo que más a menudo se confunde con una cola de mensajes de Redis, siendo el menos adecuado para esa tarea.

SUBSCRIBE registra el interés en un canal, PUBLISH envía a todos los que están suscritos en ese momento. La documentación de Redis es inequívoca sobre lo que eso significa:

El Pub/Sub de Redis tiene una semántica de entrega de mensajes at-most-once (como máximo una vez). Como su nombre lo indica, significa que un mensaje se entregará una vez, si es que se entrega. Una vez que el servidor de Redis envía el mensaje, no hay posibilidad de que se envíe de nuevo. Si el suscriptor no puede procesar el mensaje (por ejemplo, por un error o una desconexión de red), el mensaje se pierde para siempre.

No se almacena nada. Un suscriptor que se está reiniciando, desplegando, que quedó brevemente aislado por una partición de red o que simplemente es lento se pierde todo lo publicado en esa ventana, de forma permanente y sin ninguna señal de que ocurrió.

Eso hace que Pub/Sub sea excelente para un conjunto acotado de tareas: invalidación de caché, actualizaciones de dashboards en vivo, notificaciones de presencia, cualquier cosa en la que el mensaje siguiente vuelva irrelevante al perdido. Y lo hace inadecuado para procesar órdenes, pagos o cualquier cosa de la que alguien le vaya a pedir cuentas más adelante.

Dos detalles útiles. Pub/Sub no tiene relación con el keyspace, así que un mensaje publicado en la base de datos 10 llega a un suscriptor de la base de datos 1; agregue prefijos a sus canales si necesita separar por entorno. Y en despliegues en clúster, el Pub/Sub con sharding (SSUBSCRIBE, SPUBLISH) limita los mensajes a un solo shard en lugar de propagarlos por el bus del clúster, que es la forma de escalarlo horizontalmente.

¿Redis Streams convierte a Redis en una cola de mensajes real?

Es lo más cerca que se puede llegar. Streams es donde Redis deja de ser una estructura de datos que se fuerza a funcionar como cola y pasa a ser algo sobre lo que razonablemente se puede montar un pipeline de trabajo.

XADD agrega una entrada y devuelve un ID ordenado en el tiempo con el formato <milliseconds>-<sequence>. Las entradas persisten en el keyspace. XREAD puede bloquearse a la espera de entradas nuevas. Los consumidores pueden leer rangos históricos con XRANGE.

Los consumer groups son la verdadera funcionalidad:

XGROUP CREATE events mygroup $
XREADGROUP GROUP mygroup consumer1 STREAMS events >
XACK events mygroup 1692632086370-0

Cada entrada va a un solo consumidor dentro de un grupo, y varios grupos pueden consumir el mismo stream de forma independiente. Una entrada entregada queda en la Pending Entries List de ese grupo hasta que se confirma con XACK. El atraso se inspecciona con XPENDING. Si un consumidor muere con entradas pendientes, otro puede tomarlas con XCLAIM o XAUTOCLAIM y terminar el trabajo.

Esa combinación ofrece entrega at-least-once: no se pierde nada cuando falla un consumidor, pero una entrada procesada justo antes de una caída puede volver a entregarse. Sus consumidores deben ser idempotentes. Es el mismo requisito que impone cualquier broker at-least-once; no es una carencia de Redis, solo algo que la gente olvida hasta que ve cobros duplicados.

Los streams crecen para siempre a menos que se les ponga un tope. XADD acepta MAXLEN, y XTRIM lo hace después; la forma con ~ recorta de manera aproximada y es bastante más económica que el recorte exacto. MINID recorta por ID de entrada en lugar de por cantidad, lo que se adapta a una retención basada en el tiempo. Elija uno en la etapa de diseño. Un stream sin límite en un almacén en memoria es un incidente de agotamiento de memoria con mecha de retardo.

¿Qué se resigna en comparación con un broker real?

Redis Streams cierra la brecha de las garantías de entrega. No cierra las demás.

  • Enrutamiento. RabbitMQ pone un exchange entre los publishers y las colas. Los exchanges direct, topic, fanout y headers deciden dónde termina un mensaje según las routing keys y los atributos, como configuración. Redis no tiene un equivalente: un publisher escribe en una clave con nombre. Cualquier enrutamiento basado en contenido es código que usted escribe, y se convierte en una segunda cosa que hay que mantener sincronizada con su topología.
  • TTL por mensaje. RabbitMQ admite TTL por mensaje mediante la propiedad expiration y por cola, y toma el menor de los dos cuando ambos están definidos. Incluso documenta con honestidad su punto débil: “Los mensajes vencidos solo se descartan realmente cuando llegan a la cabeza de una cola”. Los TTL de Redis se aplican a claves completas, no a elementos individuales de una lista ni a entradas de un stream. Hacer que venza un mensaje y no sus vecinos no es algo que Redis haga.
  • Prioridades. RabbitMQ admite colas de prioridad. Redis no tiene un concepto de prioridad para los elementos de una lista ni para las entradas de un stream. Simularlo implica varias claves y workers que las revisen en orden, lo que vuelve a introducir problemas de inanición que los brokers ya resolvieron.
  • Dead-lettering. RabbitMQ hace dead-lettering automáticamente ante un rechazo, el vencimiento del TTL, el límite de longitud de la cola o al superar el límite de entregas de una cola de quórum. Redis Streams le da la materia prima (XPENDING muestra lo que está atascado y se lleva la cuenta de las entregas), pero enrutar los mensajes envenenados a un stream de cuarentena, limitar los reintentos y alertar al respecto es enteramente código suyo.
  • Conteo de entregas y política de reintentos. Relacionado, pero conviene separarlo: un broker le da un límite de entregas como configuración. En Redis usted lee el contador y decide qué hacer, en todas partes, de forma consistente y para siempre.

Nada de esto hace que Redis sea la elección equivocada. Hace que la elección sea un intercambio: acepta hacerse cargo de funcionalidades que en otros sistemas vienen incluidas, a cambio de no operar otro sistema más.

¿Cuáles son las salvedades de la persistencia?

Redis es un almacén en memoria que escribe en disco. Cuánto se pierde en una caída es una decisión de configuración, y vale la pena conocer las cifras que publica el propio Redis.

  • RDB toma snapshots de un punto en el tiempo en los puntos de guardado configurados. La documentación de Redis es directa sobre la exposición: “normalmente creará un snapshot RDB cada cinco minutos o más, así que, si Redis deja de funcionar sin un apagado correcto por cualquier motivo, debe estar preparado para perder los últimos minutos de datos”. El snapshot además hace un fork del proceso, y con un conjunto de datos grande ese fork puede frenar brevemente el servidor, un efecto operativo real que tratamos junto con los demás modos de falla en nuestro trabajo de alta disponibilidad de Redis.
  • AOF registra cada comando de escritura, con tres políticas de fsync. appendfsync always es la más segura y la más lenta. appendfsync everysec es el valor predeterminado sugerido, y Redis indica que “puede perder 1 segundo de datos si ocurre un desastre”. appendfsync no lo deja en manos del kernel.

La recomendación de Redis es usar ambos si se busca una durabilidad comparable a la de una base de datos relacional. Dos consecuencias para las colas:

  1. Un mensaje confirmado a un productor no está necesariamente en disco. Con everysec hay hasta un segundo de trabajo aceptado pero no escrito en cualquier momento.
  2. La replicación es asíncrona. Una falla del primario puede perder escrituras que se confirmaron pero que todavía no se replicaron, el mismo intercambio que Redis hace en todas partes a cambio de velocidad.

Si su requisito es “este mensaje no se puede perder”, Redis puede configurarse para acercarse a eso, pero lo paga en latencia, y debería verificar la configuración en lugar de darla por supuesta.

¿Cuándo es Redis realmente la elección correcta?

Use Redis para colas cuando:

  • Redis ya forma parte de su arquitectura y agregar un broker significa sumar un compromiso operativo
  • La topología es simple: productores hacia un pool de workers, sin enrutamiento basado en contenido
  • La latencia importa más que las garantías de entrega, y volver a ejecutar un job perdido es aceptable
  • El volumen es alto y los mensajes son de vida corta, que es para lo que está hecho un almacén en memoria
  • El equipo se siente cómodo haciéndose cargo de la lógica de confirmaciones, reintentos y dead-letter en el código de la aplicación

Use RabbitMQ cuando:

  • El enrutamiento no es trivial y prefiere configurarlo en lugar de programarlo
  • Necesita TTL por mensaje, prioridades o dead-lettering como funcionalidades del broker
  • Las garantías de entrega figuran en un documento de cumplimiento normativo o en un contrato con un cliente
  • Distintos consumidores necesitan distintos subconjuntos de los mensajes de un mismo publisher
  • Quiere herramientas operativas (interfaz de administración, métricas por cola, políticas) sin tener que construirlas

No son excluyentes, y en la práctica las arquitecturas más sólidas usan ambos: Redis para caché, rate limiting, estado efímero y reparto rápido dentro del proceso, y RabbitMQ para los mensajes que llevan garantías. Describimos esa división en usar Redis y RabbitMQ juntos.

Hay otras dos comparaciones que conviene tener presentes. Si la carga de trabajo es un log de eventos append-only que muchos consumidores independientes reproducen a su propio ritmo, tanto Redis Streams como RabbitMQ tienen la forma equivocada; consulte RabbitMQ Streams vs. Apache Kafka. Y si está comparando un broker de código abierto con uno comercial para una entrega garantizada, IBM MQ vs. RabbitMQ cubre ese terreno.

El patrón de falla que vemos con más frecuencia no es elegir Redis. Es elegir Redis Pub/Sub para un trabajo que necesitaba Streams, o elegir Lists y descubrir después tres años de lógica de confirmaciones acumulada que nadie quiere tocar. Elija el mecanismo que corresponde a la garantía que realmente necesita, y deje por escrito cuál eligió.

Hable con AceMQ sobre Redis y RabbitMQ

¿No está seguro de si Redis carga con más responsabilidad de colas de la que debería? AceMQ trabaja en ambos lados: soporte y consultoría de Redis y consultoría de RabbitMQ. Hable con un ingeniero de AceMQ.

Preguntas frecuentes

¿Se puede usar Redis como cola de mensajes?

Sí. Redis ofrece tres mecanismos: Lists para colas de trabajo simples, Pub/Sub para difusión de tipo fire-and-forget y Streams para consumer groups con entrega at-least-once (al menos una vez). Streams es el que más se parece a un broker. Que alcance o no depende de lo que necesite más allá de la entrega.

¿Redis es un broker de mensajería?

No en el sentido en que lo es RabbitMQ. Redis ofrece estructuras de datos sobre las que se pueden construir colas. No tiene enrutamiento basado en exchanges, ni TTL por mensaje para el trabajo en cola, ni colas de prioridad, ni un mecanismo de dead-letter integrado. Esas son funcionalidades de un broker, y en Redis se convierten en código de la aplicación.

¿Cuál es la diferencia entre Redis Pub/Sub y Redis Streams?

Pub/Sub es at-most-once y no almacena nada. La propia documentación de Redis dice que, si un suscriptor no puede procesar un mensaje, “el mensaje se pierde para siempre”. Streams persiste las entradas en el keyspace, admite consumer groups con confirmaciones y ofrece entrega at-least-once. Si perder un mensaje importa, esa diferencia es toda la decisión.

¿Redis Pub/Sub persiste los mensajes?

No. Los mensajes publicados llegan a quien esté suscrito en ese momento y desaparecen. Un suscriptor que está desconectado, reiniciándose o brevemente sobrecargado se pierde todo lo publicado durante esa ventana, sin forma de recuperarlo.

¿Cómo funcionan los consumer groups de Redis Streams?

Se crea un grupo con XGROUP CREATE y luego cada consumidor lee con XREADGROUP usando el ID especial > para las entradas nuevas. Las entradas entregadas pero no confirmadas quedan en la Pending Entries List hasta el XACK. Si un consumidor muere, otro puede tomar sus entradas pendientes con XCLAIM o XAUTOCLAIM. Eso es lo que hace posible el at-least-once.

¿Redis puede perder mensajes?

Sí, y cuánto depende de la configuración de persistencia. Los snapshots RDB son de un punto en el tiempo, por eso la documentación de Redis advierte que hay que estar preparado para perder los últimos minutos de datos después de una detención no ordenada. Con AOF y el valor predeterminado appendfsync everysec, Redis dice que se puede perder un segundo de datos. Los mensajes de Pub/Sub no se persisten en absoluto.

¿Redis es más rápido que RabbitMQ?

Para operaciones en memoria puras, en general sí: para eso existe un almacén de datos en memoria. La comparación es engañosa, porque normalmente se compara un push en memoria sin confirmación con una entrega durable, enrutada y confirmada. Una vez que se agregan persistencia y confirmaciones para que sean equivalentes, la diferencia se reduce considerablemente.

¿Cuándo conviene usar Redis para colas en lugar de RabbitMQ?

Cuando el trabajo es un simple reparto entre workers, Redis ya está en su stack, el enrutamiento es de un productor a un pool de consumidores y perder un job ante una falla se resuelve volviéndolo a ejecutar. Recurra a RabbitMQ cuando necesite reglas de enrutamiento, TTL por mensaje, prioridades, dead-lettering o garantías de entrega que pueda poner en un documento de cumplimiento normativo.

Fuentes

Scott Sternloff

Autor

Scott SternloffArquitecto empresarial sénior

Arquitecto empresarial sénior en AceMQ. Escribe aquí los contenidos técnicos: arquitectura, clustering y migraciones de RabbitMQ, Kafka y Redis.

Talk to an engineer

Need a hand with Redis?

Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.

Guías, comparativas e investigación

Profundice en Redis

Consulta gratuita

Que un experto revise su implementación de Redis

Ya sea que esté resolviendo un incidente en producción, planificando una migración o quiera una segunda opinión sobre su arquitectura, nuestro equipo está listo. Sin discursos de venta, solo respuestas.

Escríbanos