Guide · RabbitMQ

Le guide des streams RabbitMQ

Les streams sont le troisième type de file d'attente de RabbitMQ, et celui que l'on choisit le plus souvent pour de mauvaises raisons. Ce guide les aborde dans l'ordre où vous les rencontrez en production : ce qu'ils sont, quand ils conviennent, comment fonctionnent la rétention et les offsets, comment les exploiter et ce qu'ils ne garantissent pas. Chaque comportement décrit provient de la documentation de RabbitMQ 4.3, vérifiée le 20 septembre 2026.

Tyler Eastridge

Par Tyler Eastridge, Directeur des opérations

LinkedIn · Mis à jour le · Lecture : 8 min · 9 sections

Sur cette page

Les streams en un paragraphe

Les streams en un paragraphe

Un stream est un journal répliqué en ajout seul (append-only) que les consommateurs lisent sans en retirer les messages. Utilisez-le pour la diffusion vers de nombreux consommateurs (fan-out), le rejeu, le haut débit et les gros arriérés ; utilisez une quorum queue lorsque vous avez besoin du dead-lettering, du TTL, des priorités ou d'une durabilité au niveau du fsync. Déclarez-le avec x-queue-type défini à stream, fixez max-age ou max-length-bytes dès le premier jour, donnez à chaque consommateur un prefetch et un offset, faites-le tourner sur un nombre impair de nœuds, gérez vous-même les réplicas et retenez qu'une confirmation signifie « répliqué », pas « écrit sur disque ».

Ce qu'est un stream RabbitMQ

Un stream est un journal persistant, répliqué et en ajout seul, qui cohabite dans RabbitMQ avec les classic queues et les quorum queues. La différence tient à la façon dont les messages en sortent : ils n'en sortent pas. Consommer depuis une file d'attente retire le message ; consommer depuis un stream ne fait qu'avancer la position de ce consommateur, si bien qu'un nombre quelconque de consommateurs peuvent lire les mêmes messages, autant de fois qu'ils le souhaitent, jusqu'à ce que la rétention les fasse expirer. La documentation de RabbitMQ parle de sémantique de consommation non destructive. Les streams sont toujours durables et toujours répliqués ; il n'en existe pas de variante transitoire.

Quand un stream est le bon type, et quand il ne l'est pas

Les streams ont été conçus pour quatre cas que les files d'attente gèrent mal : la diffusion massive (de nombreux consommateurs lisant les mêmes messages sans avoir chacun leur file), le rejeu (se raccorder à n'importe quel point du journal et lire à partir de là), le débit (l'objectif de conception était de rivaliser avec les systèmes à base de journaux) et les gros arriérés (les files d'attente sont optimisées pour tendre vers le vide ; les streams stockent des millions de messages avec une mémoire minimale).

Ce n'est pas le bon type lorsque vous avez besoin des fonctions d'une file d'attente. Les streams ne prennent en charge ni les dead letter exchanges, ni le TTL des messages, ni les limites de longueur de file, ni la priorité des messages ou des consommateurs, ni l'exclusivité, ni la déclaration non durable, et la documentation indique explicitement que nombre de ces fonctions ne seront jamais prises en charge en raison du modèle de lecture non destructive. Si la charge de travail consiste à distribuer des tâches avec nouvelles tentatives et dead-lettering, c'est une quorum queue qu'il vous faut.

Stream ou file d'attente RabbitMQ, côte à côte :

File d'attente (quorum ou classic)Stream
Mode de lecture des messagesDestructif : un message acquitté est suppriméNon destructif : les consommateurs lisent à partir d'un offset et le message reste
Plusieurs consommateurs, mêmes donnéesUne file par consommateur, chacune avec sa propre copieUn seul stream, autant de consommateurs que nécessaire
RejeuNonOui, depuis tout offset encore couvert par la rétention
Durée de conservation des messagesJusqu'à leur consommation, ou jusqu'à ce qu'un TTL ou une limite de longueur les supprimeJusqu'à ce que max-age ou max-length-bytes les fasse expirer
Dead-lettering, TTL des messages, prioritésPris en charge sur les quorum queuesNon pris en charge
Gros arriérésConçue pour tendre vers le videConçu pour contenir des millions de messages

Déclarer un stream et définir la rétention

Déclarez une file d'attente avec l'argument x-queue-type défini à stream. Le type doit être fourni par le client lors de la déclaration ; il ne peut être ni défini ni modifié par une policy. Un stream reste une file d'attente AMQP 0.9.1 : il se lie à n'importe quel exchange comme n'importe quelle file.

Définissez la rétention dès le premier jour, car un journal en ajout seul grossit jusqu'à saturer le disque. Deux paramètres, combinables et modifiables par policy : max-age (unités Y, M, D, h, m, s ; 7D correspond donc à une semaine) et max-length-bytes. La rétention est évaluée par fichier de segment, et la taille de segment par défaut est de 500 Mo : un stream conserve donc toujours au moins un segment et dépassera sa limite configurée d'au plus un segment. Dimensionnez le disque pour la limite plus un segment par stream, pas pour la limite seule.

Consommer : offsets, prefetch et acquittements

Un consommateur choisit son point de départ avec l'argument x-stream-offset : first, last (le dernier chunk écrit), next (la valeur par défaut : uniquement les nouveaux messages), un offset numérique, un horodatage ou un intervalle tel que 1h. Les horodatages sont ramenés aux limites de chunk, si bien qu'un consommateur peut recevoir des messages publiés légèrement avant l'heure demandée.

Deux règles piègent les équipes qui viennent des files d'attente. Les consommateurs doivent définir un prefetch QoS, et les acquittements sont obligatoires : sur un stream, l'ack sert de crédit qui fait avancer l'offset du consommateur. Et le QoS global n'est pas pris en charge : consommer un stream sur un canal doté d'un prefetch global renvoie une erreur de canal. Utilisez un prefetch par consommateur.

Objectifs de réponse à partir de 15 minutes, selon le plan. Ingénieurs seniors attitrés.

Nous contacter

AMQP 0.9.1 ou le protocole stream

Tout client AMQP 0.9.1 capable de transmettre des arguments de file d'attente et de consommateur peut utiliser un stream. L'équipe RabbitMQ recommande néanmoins le protocole binaire dédié aux streams et ses clients, pour deux raisons : il offre le meilleur débit, et certaines fonctions n'existent qu'à travers lui. Le suivi des offsets côté broker en fait partie : il n'est disponible que via le plugin stream, et les offsets sont stockés dans le stream lui-même sous forme de données qui ne sont pas des messages. La déduplication côté éditeur en est une autre : un producteur nommé doté d'un identifiant de publication strictement croissant permet au broker de filtrer les messages renvoyés après un crash, à condition qu'une seule instance de producteur utilise ce nom à un instant donné.

Un effet de bord à connaître : les messages sont stockés au format AMQP 1.0, si bien que les en-têtes AMQP 0.9.1 à valeurs complexes, comme les tableaux ou les tables, ne sont pas convertis.

Super streams et consommateur actif unique

Un super stream est un stream logique partitionné sur plusieurs streams ordinaires, ce qui répartit le stockage et le trafic sur les nœuds du cluster. Les bibliothèques clientes le présentent comme un seul stream. Combiné au single active consumer (un seul membre d'un groupe nommé reçoit les messages et un autre prend le relais s'il s'arrête), vous obtenez un traitement ordonné par partition avec basculement. Les deux fonctions sont arrivées avec RabbitMQ 3.11. La CLI crée la topologie en une ligne : rabbitmq-streams add_super_stream invoices --partitions 3.

La documentation elle-même conseille la retenue : les super streams ajoutent de la complexité et ne devraient être utilisés qu'une fois qu'un stream unique a atteint ses limites.

Exploiter les streams : réplicas, quorum et mémoire

Les streams sont des systèmes à quorum : utilisez donc un nombre impair de nœuds. Trois nœuds tolèrent une panne, cinq en tolèrent deux, et un cluster de deux nœuds n'en tolère aucune. L'appartenance des réplicas est gérée par l'opérateur. Un nœud ajouté au cluster n'héberge aucun réplica de stream tant que vous n'avez pas exécuté rabbitmq-streams add_replica, et un nœud que l'on retire du service doit être supprimé avec delete_replica de chaque stream qu'il héberge. Vérifiez la réplication avec rabbitmq-streams stream_status. Pour remplacer un nœud, ajoutez le nouveau, attendez qu'il soit synchronisé, puis retirez l'ancien ; impossible d'ajouter un réplica tant qu'un autre n'est pas synchronisé.

Les streams consomment peu de RAM dans le broker mais s'appuient fortement sur le cache de pages du noyau. Dans les conteneurs, ce cache de pages est compté dans la limite mémoire : c'est ainsi qu'une charge de travail stream parfaitement saine voit son pod tué par l'OOM killer. Les streams ne réagissent pas non plus aux alarmes mémoire. Utilisez les disques les plus rapides disponibles ; le débit baisse à mesure que la taille des messages et le nombre de réplicas augmentent.

Sécurité des données : ce que signifie une publisher confirm sur un stream

Une confirmation sur un stream signifie que le message a été répliqué sur un quorum de réplicas. Cela ne signifie pas qu'il a été écrit physiquement sur disque : les streams écrivent sur disque mais n'appellent pas fsync, laissant ce soin au système d'exploitation. Un arrêt non maîtrisé peut donc faire perdre les données récentes sur ce nœud, qui sont normalement re-répliquées depuis les autres. La consigne de la documentation est sans détour : si vous avez besoin de garanties plus fortes, utilisez des quorum queues, qui ne confirment qu'une fois qu'un quorum a écrit et synchronisé sur disque. Les messages publiés sans confirmation ne bénéficient d'aucune garantie.

Là où vous ne pouvez pas les utiliser

Vérifiez la plateforme avant la conception. Amazon MQ for RabbitMQ ne prend pas en charge les streams, et sa documentation avertit que la création d'un stream entraînera une perte de données. Les streams exigent un RabbitMQ autogéré, un hébergeur spécialisé ou des brokers dans votre propre compte, exploités pour vous.

Questions fréquentes

Quelle différence entre un stream et une file d'attente RabbitMQ ?

Une file d'attente retire un message dès qu'un consommateur l'acquitte : chaque message est traité une fois et la file se vide. Un stream conserve les messages jusqu'à ce que la rétention les fasse expirer, et les consommateurs lisent à partir d'un offset : de nombreux consommateurs peuvent donc lire les mêmes messages et les rejouer. Les files d'attente disposent du dead-lettering, du TTL et des priorités ; les streams, non.

Qu'est-ce qu'un stream RabbitMQ ?

Un journal persistant, répliqué et en ajout seul, intégré à RabbitMQ. Les consommateurs le lisent sans en retirer les messages : plusieurs consommateurs peuvent donc lire les mêmes données et les relire depuis n'importe quel offset jusqu'à ce que la rétention les fasse expirer. On le déclare en définissant x-queue-type à stream.

Quand utiliser un stream plutôt qu'une quorum queue ?

Utilisez un stream pour la diffusion massive, le rejeu, un très haut débit ou de gros arriérés. Utilisez une quorum queue pour une distribution de tâches qui nécessite le dead-lettering, le TTL, les priorités ou la durabilité la plus forte, car les quorum queues ne confirment qu'une fois qu'un quorum a écrit sur disque, alors que les streams n'appellent pas fsync.

Comment éviter qu'un stream RabbitMQ remplisse le disque ?

Définissez la rétention avec max-age, max-length-bytes ou les deux, par argument de file d'attente ou par policy. La rétention s'applique par segment et le segment par défaut fait 500 Mo : prévoyez donc au moins un segment de marge supplémentaire par stream.

Les streams RabbitMQ prennent-ils en charge les dead letter exchanges ou le TTL ?

Non. Les streams ne prennent en charge ni les dead letter exchanges, ni le TTL des messages, ni les limites de longueur de file, ni les priorités, ni la déclaration exclusive ou non durable. Les paramètres de rétention remplacent le TTL et les limites de longueur.

Amazon MQ prend-il en charge les streams RabbitMQ ?

Non. Le guide du développeur d'Amazon MQ indique que les streams ne sont pas pris en charge et que la création d'un stream entraînera une perte de données.

Consultation gratuite

Un regard expert sur votre cluster RabbitMQ

Que vous deviez résoudre un incident de production, planifier une migration ou obtenir un second avis sur votre architecture, notre équipe est prête. Pas d’argumentaire commercial, seulement des réponses.

Nous écrire