En esta página
Los streams en un párrafo
Los streams en un párrafo
Un stream es un log replicado de solo anexado (append-only) que los consumidores leen sin eliminar los mensajes. Úselo para fan-out, reproducción, alto throughput y backlogs grandes; use una cola de quórum cuando necesite dead-lettering, TTL, prioridades o durabilidad a nivel de fsync. Declárelo con x-queue-type en stream, defina max-age o max-length-bytes desde el primer día, asigne a cada consumidor un prefetch y un offset, ejecútelo en una cantidad impar de nodos, administre usted mismo las réplicas y recuerde que una confirmación significa replicado, no escrito en disco.
Qué es un stream de RabbitMQ
Un stream es un log persistente, replicado y de solo anexado que convive en RabbitMQ con las colas clásicas y las colas de quórum. La diferencia está en cómo salen los mensajes: no salen. Consumir de una cola elimina el mensaje; consumir de un stream solo mueve la posición de ese consumidor, así que cualquier cantidad de consumidores puede leer los mismos mensajes, tantas veces como quiera, hasta que la retención los haga vencer. La documentación de RabbitMQ lo llama semántica de consumo no destructiva. Los streams son siempre durables y siempre replicados; no existe una variante transitoria.
Cuándo un stream es el tipo adecuado y cuándo no
Los streams se crearon para cuatro casos que los tipos de cola resuelven mal: fan-out masivo (muchos consumidores leyendo los mismos mensajes sin una cola para cada uno), reproducción (conectarse en cualquier punto del log y leer desde ahí), throughput (el objetivo de diseño era competir con los sistemas basados en logs) y backlogs grandes (las colas están optimizadas para tender a vaciarse; los streams almacenan millones de mensajes con un uso mínimo de memoria).
Son el tipo equivocado cuando necesita funciones de cola. Los streams no admiten dead letter exchanges, TTL de mensajes, límites de longitud de cola, prioridad de mensajes o de consumidores, exclusividad ni declaración no durable, y la documentación aclara explícitamente que muchas de estas funciones nunca se admitirán debido al modelo de lectura no destructiva. Si la carga de trabajo es distribución de trabajo con reintentos y dead-lettering, lo que corresponde es una cola de quórum.
Stream frente a cola en RabbitMQ, lado a lado:
| Cola (de quórum o clásica) | Stream | |
|---|---|---|
| Cómo se leen los mensajes | Destructiva: un mensaje confirmado se elimina | No destructiva: los consumidores leen desde un offset y el mensaje permanece |
| Muchos consumidores, mismos datos | Una cola por consumidor, cada una con su propia copia | Un solo stream, cualquier cantidad de consumidores |
| Reproducción | No | Sí, desde cualquier offset que siga dentro de la retención |
| Cuánto tiempo permanecen los mensajes | Hasta que se consumen, o hasta que un TTL o un límite de longitud los elimina | Hasta que max-age o max-length-bytes los hace vencer |
| Dead-lettering, TTL de mensajes, prioridades | Admitidos en las colas de quórum | No admitidos |
| Backlogs grandes | Diseñadas para tender a vaciarse | Diseñados para contener millones de mensajes |
Cómo declarar un stream y definir la retención
Declare una cola con el argumento x-queue-type en stream. El cliente debe indicar el tipo al declararla; no puede definirse ni cambiarse por política. Un stream sigue siendo una cola AMQP 0.9.1, así que se vincula a cualquier exchange como cualquier otra.
Defina la retención desde el primer día, porque un log de solo anexado crece hasta llenar el disco. Hay dos parámetros, que pueden usarse juntos y modificarse por política: max-age (unidades Y, M, D, h, m, s, así que 7D es una semana) y max-length-bytes. La retención se evalúa por archivo de segmento, y el tamaño de segmento predeterminado es de 500 MB, así que un stream siempre conserva al menos un segmento y puede superar su límite configurado hasta en un segmento. Dimensione el disco para el límite más un segmento por stream, no solo para el límite.
Consumo: offsets, prefetch y acknowledgements
Un consumidor elige dónde empezar con el argumento x-stream-offset: first, last (el último chunk escrito), next (el valor predeterminado: solo los mensajes nuevos), un offset numérico, una marca de tiempo o un intervalo como 1h. Las marcas de tiempo se resuelven en los límites de los chunks, así que un consumidor puede recibir mensajes publicados un poco antes del momento que pidió.
Hay dos reglas que sorprenden a los equipos que vienen de las colas. Los consumidores deben definir un prefetch de QoS, y los acknowledgements son obligatorios: en un stream, el ack funciona como un crédito que hace avanzar el offset del consumidor. Y el QoS global no está soportado: consumir de un stream en un canal con prefetch global devuelve un error de canal. Use prefetch por consumidor.
AMQP 0.9.1 o el protocolo de streams
Cualquier cliente AMQP 0.9.1 que pueda pasar argumentos de cola y de consumidor puede usar un stream. El equipo de RabbitMQ sigue recomendando el protocolo binario dedicado de streams y sus clientes, por dos motivos: ofrece el mejor throughput y algunas funciones solo existen allí. El seguimiento de offsets del lado del broker es una de ellas: solo está disponible a través del plugin de streams, y los offsets se guardan en el propio stream como datos que no son mensajes. La deduplicación en el publicador es otra: un productor con nombre y un publishing ID estrictamente creciente le permite al broker filtrar los mensajes reenviados después de una caída, siempre que una sola instancia del productor use ese nombre a la vez.
Un efecto secundario que conviene conocer: los mensajes se almacenan como datos AMQP 1.0, así que los headers de AMQP 0.9.1 con valores complejos, como arrays o tablas, no se convierten.
Super streams y single active consumer
Un super stream es un stream lógico particionado en varios streams normales, lo que reparte el almacenamiento y el tráfico entre los nodos del clúster. Las bibliotecas cliente lo presentan como un solo stream. Combinado con single active consumer, en el que solo una instancia de un grupo con nombre recibe mensajes y otra toma el relevo si se detiene, obtiene procesamiento ordenado por partición con failover. Ambos llegaron con RabbitMQ 3.11. La CLI crea la topología en una sola línea: rabbitmq-streams add_super_stream invoices --partitions 3.
El consejo de la propia documentación es la moderación: los super streams agregan complejidad y solo deberían usarse cuando un stream individual ya alcanzó sus límites.
Operación de streams: réplicas, quórum y memoria
Los streams son sistemas de quórum, así que use clústeres con una cantidad impar de nodos: tres nodos toleran una falla, cinco toleran dos y un clúster de dos nodos no tolera ninguna. La membresía de las réplicas la administra el operador. Un nodo que se agrega al clúster no aloja réplicas de streams hasta que usted ejecuta rabbitmq-streams add_replica, y un nodo que se da de baja debe quitarse con delete_replica de cada stream que aloja. Verifique la replicación con rabbitmq-streams stream_status. Al reemplazar un nodo, agregue el nuevo, espere a que esté sincronizado y luego quite el anterior; no se puede agregar una réplica mientras otra esté desincronizada.
Los streams usan poca RAM en el broker, pero dependen mucho de la page cache del kernel. En los contenedores, esa page cache cuenta para el límite de memoria, y así es como una carga de streams sana termina con un pod eliminado por OOM. Los streams tampoco reaccionan a las alarmas de memoria. Use los discos más rápidos disponibles; el throughput baja a medida que aumentan el tamaño de los mensajes y la cantidad de réplicas.
Seguridad de los datos: qué significa una confirmación del publicador en un stream
Una confirmación en un stream significa que el mensaje se replicó en un quórum de réplicas. No significa que se haya escrito en disco: los streams escriben en disco pero no hacen fsync, y dejan eso en manos del sistema operativo. Por lo tanto, un apagado no controlado puede perder datos recientes en ese nodo, que normalmente se vuelven a replicar desde los demás. La indicación de la documentación es directa: si necesita garantías más fuertes, use colas de quórum, que confirman solo después de que un quórum escribió y hizo flush. Los mensajes publicados sin confirmaciones no tienen ninguna garantía.
Dónde no se pueden ejecutar
Verifique la plataforma antes del diseño. Amazon MQ para RabbitMQ no admite streams, y su documentación advierte que crear uno provocará pérdida de datos. Los streams requieren RabbitMQ autoadministrado, un proveedor especializado o brokers en su propia cuenta operados por un tercero.
Preguntas frecuentes
¿Cuál es la diferencia entre un stream y una cola en RabbitMQ?
Una cola elimina un mensaje en cuanto un consumidor lo confirma, así que cada mensaje se procesa una vez y la cola se vacía. Un stream conserva los mensajes hasta que la retención los hace vencer, y los consumidores leen desde un offset, así que muchos consumidores pueden leer los mismos mensajes y reproducirlos. Las colas tienen dead-lettering, TTL y prioridades; los streams no.
¿Qué es un stream de RabbitMQ?
Un log persistente, replicado y de solo anexado dentro de RabbitMQ. Los consumidores lo leen sin eliminar los mensajes, así que muchos consumidores pueden leer los mismos datos y volver a leerlos desde cualquier offset hasta que la retención los haga vencer. Se declara con x-queue-type en stream.
¿Cuándo conviene usar un stream en lugar de una cola de quórum?
Use un stream para fan-out masivo, reproducción, throughput muy alto o backlogs grandes. Use una cola de quórum para la distribución de trabajo que necesita dead-lettering, TTL, prioridades o la mayor durabilidad, porque las colas de quórum confirman solo después de que un quórum escribió en disco y los streams no hacen fsync.
¿Cómo evito que un stream de RabbitMQ llene el disco?
Defina la retención con max-age, max-length-bytes o ambos, mediante un argumento de la cola o una política. La retención se aplica por segmento y el segmento predeterminado es de 500 MB, así que deje un margen de al menos un segmento extra por stream.
¿Los streams de RabbitMQ admiten dead letter exchanges o TTL?
No. Los streams no admiten dead letter exchanges, TTL de mensajes, límites de longitud de cola, prioridades ni declaración exclusiva o no durable. Los parámetros de retención reemplazan al TTL y a los límites de longitud.
¿Amazon MQ admite streams de RabbitMQ?
No. La guía para desarrolladores de Amazon MQ indica que los streams no están soportados y que crear uno provocará pérdida de datos.