Guía · RabbitMQ

La guía de RabbitMQ Streams

Los streams son el tercer tipo de cola de RabbitMQ y el que con más frecuencia se elige por el motivo equivocado. Esta guía los recorre en el orden en que aparecen en producción: qué son, cuándo encajan, cómo funcionan la retención y los offsets, cómo operarlos y qué no garantizan. Cada comportamiento descrito proviene de la documentación de RabbitMQ 4.3, verificada el 20 de septiembre de 2026.

Tyler Eastridge

Por Tyler Eastridge, Director de operaciones

LinkedIn · Actualizado el · 8 min de lectura · 9 secciones

En esta página

Los streams en un párrafo

Los streams en un párrafo

Un stream es un log replicado de solo anexado (append-only) que los consumidores leen sin eliminar los mensajes. Úselo para fan-out, reproducción, alto throughput y backlogs grandes; use una cola de quórum cuando necesite dead-lettering, TTL, prioridades o durabilidad a nivel de fsync. Declárelo con x-queue-type en stream, defina max-age o max-length-bytes desde el primer día, asigne a cada consumidor un prefetch y un offset, ejecútelo en una cantidad impar de nodos, administre usted mismo las réplicas y recuerde que una confirmación significa replicado, no escrito en disco.

Qué es un stream de RabbitMQ

Un stream es un log persistente, replicado y de solo anexado que convive en RabbitMQ con las colas clásicas y las colas de quórum. La diferencia está en cómo salen los mensajes: no salen. Consumir de una cola elimina el mensaje; consumir de un stream solo mueve la posición de ese consumidor, así que cualquier cantidad de consumidores puede leer los mismos mensajes, tantas veces como quiera, hasta que la retención los haga vencer. La documentación de RabbitMQ lo llama semántica de consumo no destructiva. Los streams son siempre durables y siempre replicados; no existe una variante transitoria.

Cuándo un stream es el tipo adecuado y cuándo no

Los streams se crearon para cuatro casos que los tipos de cola resuelven mal: fan-out masivo (muchos consumidores leyendo los mismos mensajes sin una cola para cada uno), reproducción (conectarse en cualquier punto del log y leer desde ahí), throughput (el objetivo de diseño era competir con los sistemas basados en logs) y backlogs grandes (las colas están optimizadas para tender a vaciarse; los streams almacenan millones de mensajes con un uso mínimo de memoria).

Son el tipo equivocado cuando necesita funciones de cola. Los streams no admiten dead letter exchanges, TTL de mensajes, límites de longitud de cola, prioridad de mensajes o de consumidores, exclusividad ni declaración no durable, y la documentación aclara explícitamente que muchas de estas funciones nunca se admitirán debido al modelo de lectura no destructiva. Si la carga de trabajo es distribución de trabajo con reintentos y dead-lettering, lo que corresponde es una cola de quórum.

Stream frente a cola en RabbitMQ, lado a lado:

Cola (de quórum o clásica)Stream
Cómo se leen los mensajesDestructiva: un mensaje confirmado se eliminaNo destructiva: los consumidores leen desde un offset y el mensaje permanece
Muchos consumidores, mismos datosUna cola por consumidor, cada una con su propia copiaUn solo stream, cualquier cantidad de consumidores
ReproducciónNoSí, desde cualquier offset que siga dentro de la retención
Cuánto tiempo permanecen los mensajesHasta que se consumen, o hasta que un TTL o un límite de longitud los eliminaHasta que max-age o max-length-bytes los hace vencer
Dead-lettering, TTL de mensajes, prioridadesAdmitidos en las colas de quórumNo admitidos
Backlogs grandesDiseñadas para tender a vaciarseDiseñados para contener millones de mensajes

Cómo declarar un stream y definir la retención

Declare una cola con el argumento x-queue-type en stream. El cliente debe indicar el tipo al declararla; no puede definirse ni cambiarse por política. Un stream sigue siendo una cola AMQP 0.9.1, así que se vincula a cualquier exchange como cualquier otra.

Defina la retención desde el primer día, porque un log de solo anexado crece hasta llenar el disco. Hay dos parámetros, que pueden usarse juntos y modificarse por política: max-age (unidades Y, M, D, h, m, s, así que 7D es una semana) y max-length-bytes. La retención se evalúa por archivo de segmento, y el tamaño de segmento predeterminado es de 500 MB, así que un stream siempre conserva al menos un segmento y puede superar su límite configurado hasta en un segmento. Dimensione el disco para el límite más un segmento por stream, no solo para el límite.

Consumo: offsets, prefetch y acknowledgements

Un consumidor elige dónde empezar con el argumento x-stream-offset: first, last (el último chunk escrito), next (el valor predeterminado: solo los mensajes nuevos), un offset numérico, una marca de tiempo o un intervalo como 1h. Las marcas de tiempo se resuelven en los límites de los chunks, así que un consumidor puede recibir mensajes publicados un poco antes del momento que pidió.

Hay dos reglas que sorprenden a los equipos que vienen de las colas. Los consumidores deben definir un prefetch de QoS, y los acknowledgements son obligatorios: en un stream, el ack funciona como un crédito que hace avanzar el offset del consumidor. Y el QoS global no está soportado: consumir de un stream en un canal con prefetch global devuelve un error de canal. Use prefetch por consumidor.

Objetivos de respuesta desde 15 minutos, según el plan. Ingenieros sénior asignados.

Contáctenos

AMQP 0.9.1 o el protocolo de streams

Cualquier cliente AMQP 0.9.1 que pueda pasar argumentos de cola y de consumidor puede usar un stream. El equipo de RabbitMQ sigue recomendando el protocolo binario dedicado de streams y sus clientes, por dos motivos: ofrece el mejor throughput y algunas funciones solo existen allí. El seguimiento de offsets del lado del broker es una de ellas: solo está disponible a través del plugin de streams, y los offsets se guardan en el propio stream como datos que no son mensajes. La deduplicación en el publicador es otra: un productor con nombre y un publishing ID estrictamente creciente le permite al broker filtrar los mensajes reenviados después de una caída, siempre que una sola instancia del productor use ese nombre a la vez.

Un efecto secundario que conviene conocer: los mensajes se almacenan como datos AMQP 1.0, así que los headers de AMQP 0.9.1 con valores complejos, como arrays o tablas, no se convierten.

Super streams y single active consumer

Un super stream es un stream lógico particionado en varios streams normales, lo que reparte el almacenamiento y el tráfico entre los nodos del clúster. Las bibliotecas cliente lo presentan como un solo stream. Combinado con single active consumer, en el que solo una instancia de un grupo con nombre recibe mensajes y otra toma el relevo si se detiene, obtiene procesamiento ordenado por partición con failover. Ambos llegaron con RabbitMQ 3.11. La CLI crea la topología en una sola línea: rabbitmq-streams add_super_stream invoices --partitions 3.

El consejo de la propia documentación es la moderación: los super streams agregan complejidad y solo deberían usarse cuando un stream individual ya alcanzó sus límites.

Operación de streams: réplicas, quórum y memoria

Los streams son sistemas de quórum, así que use clústeres con una cantidad impar de nodos: tres nodos toleran una falla, cinco toleran dos y un clúster de dos nodos no tolera ninguna. La membresía de las réplicas la administra el operador. Un nodo que se agrega al clúster no aloja réplicas de streams hasta que usted ejecuta rabbitmq-streams add_replica, y un nodo que se da de baja debe quitarse con delete_replica de cada stream que aloja. Verifique la replicación con rabbitmq-streams stream_status. Al reemplazar un nodo, agregue el nuevo, espere a que esté sincronizado y luego quite el anterior; no se puede agregar una réplica mientras otra esté desincronizada.

Los streams usan poca RAM en el broker, pero dependen mucho de la page cache del kernel. En los contenedores, esa page cache cuenta para el límite de memoria, y así es como una carga de streams sana termina con un pod eliminado por OOM. Los streams tampoco reaccionan a las alarmas de memoria. Use los discos más rápidos disponibles; el throughput baja a medida que aumentan el tamaño de los mensajes y la cantidad de réplicas.

Seguridad de los datos: qué significa una confirmación del publicador en un stream

Una confirmación en un stream significa que el mensaje se replicó en un quórum de réplicas. No significa que se haya escrito en disco: los streams escriben en disco pero no hacen fsync, y dejan eso en manos del sistema operativo. Por lo tanto, un apagado no controlado puede perder datos recientes en ese nodo, que normalmente se vuelven a replicar desde los demás. La indicación de la documentación es directa: si necesita garantías más fuertes, use colas de quórum, que confirman solo después de que un quórum escribió y hizo flush. Los mensajes publicados sin confirmaciones no tienen ninguna garantía.

Dónde no se pueden ejecutar

Verifique la plataforma antes del diseño. Amazon MQ para RabbitMQ no admite streams, y su documentación advierte que crear uno provocará pérdida de datos. Los streams requieren RabbitMQ autoadministrado, un proveedor especializado o brokers en su propia cuenta operados por un tercero.

Preguntas frecuentes

¿Cuál es la diferencia entre un stream y una cola en RabbitMQ?

Una cola elimina un mensaje en cuanto un consumidor lo confirma, así que cada mensaje se procesa una vez y la cola se vacía. Un stream conserva los mensajes hasta que la retención los hace vencer, y los consumidores leen desde un offset, así que muchos consumidores pueden leer los mismos mensajes y reproducirlos. Las colas tienen dead-lettering, TTL y prioridades; los streams no.

¿Qué es un stream de RabbitMQ?

Un log persistente, replicado y de solo anexado dentro de RabbitMQ. Los consumidores lo leen sin eliminar los mensajes, así que muchos consumidores pueden leer los mismos datos y volver a leerlos desde cualquier offset hasta que la retención los haga vencer. Se declara con x-queue-type en stream.

¿Cuándo conviene usar un stream en lugar de una cola de quórum?

Use un stream para fan-out masivo, reproducción, throughput muy alto o backlogs grandes. Use una cola de quórum para la distribución de trabajo que necesita dead-lettering, TTL, prioridades o la mayor durabilidad, porque las colas de quórum confirman solo después de que un quórum escribió en disco y los streams no hacen fsync.

¿Cómo evito que un stream de RabbitMQ llene el disco?

Defina la retención con max-age, max-length-bytes o ambos, mediante un argumento de la cola o una política. La retención se aplica por segmento y el segmento predeterminado es de 500 MB, así que deje un margen de al menos un segmento extra por stream.

¿Los streams de RabbitMQ admiten dead letter exchanges o TTL?

No. Los streams no admiten dead letter exchanges, TTL de mensajes, límites de longitud de cola, prioridades ni declaración exclusiva o no durable. Los parámetros de retención reemplazan al TTL y a los límites de longitud.

¿Amazon MQ admite streams de RabbitMQ?

No. La guía para desarrolladores de Amazon MQ indica que los streams no están soportados y que crear uno provocará pérdida de datos.

Consulta gratuita

Que un experto revise su clúster de RabbitMQ

Ya sea que esté resolviendo un incidente en producción, planificando una migración o quiera una segunda opinión sobre su arquitectura, nuestro equipo está listo. Sin discursos de venta, solo respuestas.

Escríbanos