En esta página
Los streams en un párrafo
Los streams en un párrafo
Un stream es un log replicado de solo anexado (append-only) que los consumidores leen sin eliminar los mensajes. Úselo para fan-out, reproducción, throughput elevado y grandes volúmenes acumulados; use una cola de quórum cuando necesite dead-lettering, TTL, prioridades o durabilidad a nivel de fsync. Declárelo con x-queue-type establecido en stream, configure max-age o max-length-bytes desde el primer día, asigne a cada consumidor un prefetch y un offset, ejecútelo en un número impar de nodos, gestione usted mismo las réplicas y recuerde que un confirm significa replicado, no volcado a disco.
Qué es un stream de RabbitMQ
Un stream es un log persistente, replicado y de solo anexado que convive en RabbitMQ con las colas clásicas y las colas de quórum. La diferencia está en cómo salen de él los mensajes: no salen. Consumir de una cola elimina el mensaje; consumir de un stream solo mueve la posición de ese consumidor, así que cualquier número de consumidores puede leer los mismos mensajes, tantas veces como quiera, hasta que la retención los haga caducar. La documentación de RabbitMQ lo llama semántica de consumo no destructiva. Los streams son siempre duraderos y siempre replicados; no existe una variante transitoria.
Cuándo un stream es el tipo adecuado y cuándo no
Los streams se crearon para cuatro casos que los tipos de cola resuelven mal: fan-out masivo (muchos consumidores que leen los mismos mensajes sin necesitar una cola cada uno), reproducción (engancharse en cualquier punto del log y leer desde ahí), throughput (el objetivo de diseño era competir con los sistemas basados en logs) y grandes volúmenes acumulados (las colas están optimizadas para tender a vaciarse; los streams almacenan millones de mensajes con un uso mínimo de memoria).
Son el tipo equivocado cuando necesita funcionalidades de cola. Los streams no admiten dead letter exchanges, TTL de mensajes, límites de longitud de cola, prioridad de mensajes o de consumidores, exclusividad ni declaración no duradera, y la documentación deja claro que muchas de estas funciones nunca se admitirán debido al modelo de lectura no destructiva. Si la carga de trabajo consiste en repartir trabajo con reintentos y dead-lettering, lo que necesita es una cola de quórum.
Stream frente a cola en RabbitMQ, comparados:
| Cola (de quórum o clásica) | Stream | |
|---|---|---|
| Cómo se leen los mensajes | De forma destructiva: un mensaje confirmado se elimina | De forma no destructiva: los consumidores leen desde un offset y el mensaje permanece |
| Muchos consumidores, mismos datos | Una cola por consumidor, cada una con su propia copia | Un stream y cualquier número de consumidores |
| Reproducción | No | Sí, desde cualquier offset que siga dentro de la retención |
| Cuánto tiempo permanecen los mensajes | Hasta que se consumen, o hasta que el TTL o un límite de longitud los eliminan | Hasta que max-age o max-length-bytes los hacen caducar |
| Dead-lettering, TTL de mensajes, prioridades | Admitidos en las colas de quórum | No admitidos |
| Grandes volúmenes acumulados | Diseñadas para tender a vaciarse | Diseñados para contener millones de mensajes |
Declarar un stream y configurar la retención
Declare una cola con el argumento x-queue-type establecido en stream. El cliente debe indicar el tipo en la declaración; no se puede establecer ni cambiar mediante una policy. Un stream sigue siendo una cola AMQP 0.9.1, así que se vincula a cualquier exchange como cualquier cola.
Configure la retención desde el primer día, porque un log de solo anexado crece hasta llenar el disco. Hay dos ajustes, que se pueden usar a la vez y cambiar mediante policy: max-age (unidades Y, M, D, h, m, s, de modo que 7D es una semana) y max-length-bytes. La retención se evalúa por archivo de segmento, y el tamaño de segmento por defecto es de 500 MB, así que un stream siempre conserva al menos un segmento y puede superar el límite configurado hasta en un segmento. Dimensione el disco para el límite más un segmento por stream, no solo para el límite.
Consumo: offsets, prefetch y acknowledgements
Un consumidor elige dónde empezar con el argumento x-stream-offset: first, last (el último chunk escrito), next (el valor por defecto: solo los mensajes nuevos), un offset numérico, una marca de tiempo o un intervalo como 1h. Las marcas de tiempo se resuelven en límites de chunk, así que un consumidor puede recibir mensajes publicados un poco antes del momento que pidió.
Hay dos reglas que pillan desprevenidos a los equipos que vienen de las colas. Los consumidores deben establecer un prefetch de QoS, y los acknowledgements son obligatorios: en un stream, el ack actúa como un crédito que hace avanzar el offset del consumidor. Y la QoS global no está admitida: consumir de un stream en un canal con prefetch global devuelve un error de canal. Use el prefetch por consumidor.
AMQP 0.9.1 o el protocolo de streams
Cualquier cliente AMQP 0.9.1 capaz de pasar argumentos de cola y de consumidor puede usar un stream. Aun así, el equipo de RabbitMQ recomienda el protocolo binario específico de streams y sus clientes, por dos motivos: ofrece el mejor throughput y algunas funcionalidades solo existen ahí. Una es el seguimiento de offsets en el broker: solo está disponible a través del plugin de streams, y los offsets se guardan en el propio stream como datos que no son mensajes. Otra es la deduplicación en el publicador: un productor con nombre y un identificador de publicación estrictamente creciente permite al broker filtrar los mensajes reenviados tras un fallo, siempre que solo una instancia del productor use ese nombre a la vez.
Un efecto secundario que conviene conocer: los mensajes se almacenan como datos AMQP 1.0, así que las cabeceras AMQP 0.9.1 con valores complejos, como arrays o tablas, no se convierten.
Super streams y consumidor activo único
Un super stream es un stream lógico particionado en varios streams normales, lo que reparte el almacenamiento y el tráfico entre los nodos del clúster. Las librerías cliente lo presentan como un único stream. Combinado con el consumidor activo único (single active consumer), en el que solo una instancia de un grupo con nombre recibe mensajes y otra toma el relevo si se detiene, se obtiene un procesamiento ordenado por partición con failover. Ambos llegaron en RabbitMQ 3.11. La CLI crea la topología en una sola línea: rabbitmq-streams add_super_stream invoices --partitions 3.
El propio consejo de la documentación es la prudencia: los super streams añaden complejidad y solo deberían usarse cuando un único stream haya llegado a sus límites.
Operar streams: réplicas, quórum y memoria
Los streams son sistemas de quórum, así que use clústeres de tamaño impar: tres nodos toleran un fallo, cinco toleran dos y un clúster de dos nodos no tolera ninguno. La pertenencia de las réplicas la gestiona el operador. Un nodo añadido al clúster no aloja ninguna réplica de stream hasta que ejecuta rabbitmq-streams add_replica, y un nodo que se retira debe eliminarse con delete_replica de cada stream que aloje. Compruebe la replicación con rabbitmq-streams stream_status. Al sustituir un nodo, añada el nuevo, espere a que esté sincronizado y después elimine el antiguo; no se puede añadir una réplica mientras otra está desincronizada.
Los streams usan poca RAM en el broker, pero dependen mucho de la caché de páginas del kernel. En los contenedores, esa caché de páginas cuenta para el límite de memoria, y así es como una carga de streams perfectamente sana acaba con un pod eliminado por OOM. Además, los streams no reaccionan a las alarmas de memoria. Use los discos más rápidos disponibles; el throughput cae a medida que aumentan el tamaño de los mensajes y el número de réplicas.
Seguridad de los datos: qué significa un publisher confirm en un stream
Un confirm en un stream significa que el mensaje se ha replicado en un quórum de réplicas. No significa que se haya volcado a disco: los streams escriben en disco, pero no hacen fsync y dejan esa tarea al sistema operativo. Por tanto, un apagado no controlado puede perder los datos recientes de ese nodo, que normalmente se vuelven a replicar desde los demás. La indicación de la documentación es directa: si necesita garantías más fuertes, use colas de quórum, que solo confirman después de que un quórum haya escrito y volcado los datos. Los mensajes publicados sin confirms no tienen ninguna garantía.
Dónde no puede ejecutarlos
Compruebe la plataforma antes del diseño. Amazon MQ for RabbitMQ no admite streams, y su documentación advierte de que crear uno provocará pérdida de datos. Los streams necesitan RabbitMQ autogestionado, un proveedor especializado o brokers en su propia cuenta que un tercero opere por usted.
Preguntas frecuentes
¿Qué diferencia hay entre un stream y una cola en RabbitMQ?
Una cola elimina el mensaje en cuanto un consumidor lo confirma, así que cada mensaje se procesa una vez y la cola se vacía. Un stream conserva los mensajes hasta que la retención los hace caducar, y los consumidores leen desde un offset, de modo que muchos consumidores pueden leer los mismos mensajes y reproducirlos. Las colas tienen dead-lettering, TTL y prioridades; los streams, no.
¿Qué es un stream de RabbitMQ?
Un log persistente, replicado y de solo anexado dentro de RabbitMQ. Los consumidores lo leen sin eliminar los mensajes, así que muchos consumidores pueden leer los mismos datos y volver a leerlos desde cualquier offset hasta que la retención los haga caducar. Se declara estableciendo x-queue-type en stream.
¿Cuándo debo usar un stream en lugar de una cola de quórum?
Use un stream para fan-out masivo, reproducción, throughput muy elevado o grandes volúmenes acumulados. Use una cola de quórum para repartir trabajo cuando necesite dead-lettering, TTL, prioridades o la máxima durabilidad, porque las colas de quórum solo confirman después de que un quórum haya volcado los datos a disco, y los streams no hacen fsync.
¿Cómo evito que un stream de RabbitMQ llene el disco?
Configure la retención con max-age, max-length-bytes o ambos, mediante un argumento de cola o una policy. La retención se aplica por segmento y el segmento por defecto es de 500 MB, así que prevea al menos un segmento adicional de margen por stream.
¿Admiten los streams de RabbitMQ dead letter exchanges o TTL?
No. Los streams no admiten dead letter exchanges, TTL de mensajes, límites de longitud de cola, prioridades ni declaración exclusiva o no duradera. Los ajustes de retención sustituyen al TTL y a los límites de longitud.
¿Admite Amazon MQ los streams de RabbitMQ?
No. La guía para desarrolladores de Amazon MQ indica que los streams no están admitidos y que crear uno provocará pérdida de datos.