Sur cette page
Les streams en un paragraphe
Les streams en un paragraphe
Un stream est un journal répliqué en ajout seul (append-only) que les consommateurs lisent sans en retirer les messages. Utilisez-le pour la diffusion vers de nombreux consommateurs (fan-out), le rejeu, le haut débit et les gros arriérés ; utilisez une quorum queue lorsque vous avez besoin du dead-lettering, du TTL, des priorités ou d'une durabilité au niveau du fsync. Déclarez-le avec x-queue-type défini à stream, fixez max-age ou max-length-bytes dès le premier jour, donnez à chaque consommateur un prefetch et un offset, faites-le tourner sur un nombre impair de nœuds, gérez vous-même les réplicas et retenez qu'une confirmation signifie « répliqué », pas « écrit sur disque ».
Ce qu'est un stream RabbitMQ
Un stream est un journal persistant, répliqué et en ajout seul, qui cohabite dans RabbitMQ avec les classic queues et les quorum queues. La différence tient à la façon dont les messages en sortent : ils n'en sortent pas. Consommer depuis une file d'attente retire le message ; consommer depuis un stream ne fait qu'avancer la position de ce consommateur, si bien qu'un nombre quelconque de consommateurs peuvent lire les mêmes messages, autant de fois qu'ils le souhaitent, jusqu'à ce que la rétention les fasse expirer. La documentation de RabbitMQ parle de sémantique de consommation non destructive. Les streams sont toujours durables et toujours répliqués ; il n'en existe pas de variante transitoire.
Quand un stream est le bon type, et quand il ne l'est pas
Les streams ont été conçus pour quatre cas que les files d'attente gèrent mal : la diffusion massive (de nombreux consommateurs lisant les mêmes messages sans avoir chacun leur file), le rejeu (se raccorder à n'importe quel point du journal et lire à partir de là), le débit (l'objectif de conception était de rivaliser avec les systèmes à base de journaux) et les gros arriérés (les files d'attente sont optimisées pour tendre vers le vide ; les streams stockent des millions de messages avec une mémoire minimale).
Ce n'est pas le bon type lorsque vous avez besoin des fonctions d'une file d'attente. Les streams ne prennent en charge ni les dead letter exchanges, ni le TTL des messages, ni les limites de longueur de file, ni la priorité des messages ou des consommateurs, ni l'exclusivité, ni la déclaration non durable, et la documentation indique explicitement que nombre de ces fonctions ne seront jamais prises en charge en raison du modèle de lecture non destructive. Si la charge de travail consiste à distribuer des tâches avec nouvelles tentatives et dead-lettering, c'est une quorum queue qu'il vous faut.
Stream ou file d'attente RabbitMQ, côte à côte :
| File d'attente (quorum ou classic) | Stream | |
|---|---|---|
| Mode de lecture des messages | Destructif : un message acquitté est supprimé | Non destructif : les consommateurs lisent à partir d'un offset et le message reste |
| Plusieurs consommateurs, mêmes données | Une file par consommateur, chacune avec sa propre copie | Un seul stream, autant de consommateurs que nécessaire |
| Rejeu | Non | Oui, depuis tout offset encore couvert par la rétention |
| Durée de conservation des messages | Jusqu'à leur consommation, ou jusqu'à ce qu'un TTL ou une limite de longueur les supprime | Jusqu'à ce que max-age ou max-length-bytes les fasse expirer |
| Dead-lettering, TTL des messages, priorités | Pris en charge sur les quorum queues | Non pris en charge |
| Gros arriérés | Conçue pour tendre vers le vide | Conçu pour contenir des millions de messages |
Déclarer un stream et définir la rétention
Déclarez une file d'attente avec l'argument x-queue-type défini à stream. Le type doit être fourni par le client lors de la déclaration ; il ne peut être ni défini ni modifié par une policy. Un stream reste une file d'attente AMQP 0.9.1 : il se lie à n'importe quel exchange comme n'importe quelle file.
Définissez la rétention dès le premier jour, car un journal en ajout seul grossit jusqu'à saturer le disque. Deux paramètres, combinables et modifiables par policy : max-age (unités Y, M, D, h, m, s ; 7D correspond donc à une semaine) et max-length-bytes. La rétention est évaluée par fichier de segment, et la taille de segment par défaut est de 500 Mo : un stream conserve donc toujours au moins un segment et dépassera sa limite configurée d'au plus un segment. Dimensionnez le disque pour la limite plus un segment par stream, pas pour la limite seule.
Consommer : offsets, prefetch et acquittements
Un consommateur choisit son point de départ avec l'argument x-stream-offset : first, last (le dernier chunk écrit), next (la valeur par défaut : uniquement les nouveaux messages), un offset numérique, un horodatage ou un intervalle tel que 1h. Les horodatages sont ramenés aux limites de chunk, si bien qu'un consommateur peut recevoir des messages publiés légèrement avant l'heure demandée.
Deux règles piègent les équipes qui viennent des files d'attente. Les consommateurs doivent définir un prefetch QoS, et les acquittements sont obligatoires : sur un stream, l'ack sert de crédit qui fait avancer l'offset du consommateur. Et le QoS global n'est pas pris en charge : consommer un stream sur un canal doté d'un prefetch global renvoie une erreur de canal. Utilisez un prefetch par consommateur.
AMQP 0.9.1 ou le protocole stream
Tout client AMQP 0.9.1 capable de transmettre des arguments de file d'attente et de consommateur peut utiliser un stream. L'équipe RabbitMQ recommande néanmoins le protocole binaire dédié aux streams et ses clients, pour deux raisons : il offre le meilleur débit, et certaines fonctions n'existent qu'à travers lui. Le suivi des offsets côté broker en fait partie : il n'est disponible que via le plugin stream, et les offsets sont stockés dans le stream lui-même sous forme de données qui ne sont pas des messages. La déduplication côté éditeur en est une autre : un producteur nommé doté d'un identifiant de publication strictement croissant permet au broker de filtrer les messages renvoyés après un crash, à condition qu'une seule instance de producteur utilise ce nom à un instant donné.
Un effet de bord à connaître : les messages sont stockés au format AMQP 1.0, si bien que les en-têtes AMQP 0.9.1 à valeurs complexes, comme les tableaux ou les tables, ne sont pas convertis.
Super streams et consommateur actif unique
Un super stream est un stream logique partitionné sur plusieurs streams ordinaires, ce qui répartit le stockage et le trafic sur les nœuds du cluster. Les bibliothèques clientes le présentent comme un seul stream. Combiné au single active consumer (un seul membre d'un groupe nommé reçoit les messages et un autre prend le relais s'il s'arrête), vous obtenez un traitement ordonné par partition avec basculement. Les deux fonctions sont arrivées avec RabbitMQ 3.11. La CLI crée la topologie en une ligne : rabbitmq-streams add_super_stream invoices --partitions 3.
La documentation elle-même conseille la retenue : les super streams ajoutent de la complexité et ne devraient être utilisés qu'une fois qu'un stream unique a atteint ses limites.
Exploiter les streams : réplicas, quorum et mémoire
Les streams sont des systèmes à quorum : utilisez donc un nombre impair de nœuds. Trois nœuds tolèrent une panne, cinq en tolèrent deux, et un cluster de deux nœuds n'en tolère aucune. L'appartenance des réplicas est gérée par l'opérateur. Un nœud ajouté au cluster n'héberge aucun réplica de stream tant que vous n'avez pas exécuté rabbitmq-streams add_replica, et un nœud que l'on retire du service doit être supprimé avec delete_replica de chaque stream qu'il héberge. Vérifiez la réplication avec rabbitmq-streams stream_status. Pour remplacer un nœud, ajoutez le nouveau, attendez qu'il soit synchronisé, puis retirez l'ancien ; impossible d'ajouter un réplica tant qu'un autre n'est pas synchronisé.
Les streams consomment peu de RAM dans le broker mais s'appuient fortement sur le cache de pages du noyau. Dans les conteneurs, ce cache de pages est compté dans la limite mémoire : c'est ainsi qu'une charge de travail stream parfaitement saine voit son pod tué par l'OOM killer. Les streams ne réagissent pas non plus aux alarmes mémoire. Utilisez les disques les plus rapides disponibles ; le débit baisse à mesure que la taille des messages et le nombre de réplicas augmentent.
Sécurité des données : ce que signifie une publisher confirm sur un stream
Une confirmation sur un stream signifie que le message a été répliqué sur un quorum de réplicas. Cela ne signifie pas qu'il a été écrit physiquement sur disque : les streams écrivent sur disque mais n'appellent pas fsync, laissant ce soin au système d'exploitation. Un arrêt non maîtrisé peut donc faire perdre les données récentes sur ce nœud, qui sont normalement re-répliquées depuis les autres. La consigne de la documentation est sans détour : si vous avez besoin de garanties plus fortes, utilisez des quorum queues, qui ne confirment qu'une fois qu'un quorum a écrit et synchronisé sur disque. Les messages publiés sans confirmation ne bénéficient d'aucune garantie.
Là où vous ne pouvez pas les utiliser
Vérifiez la plateforme avant la conception. Amazon MQ for RabbitMQ ne prend pas en charge les streams, et sa documentation avertit que la création d'un stream entraînera une perte de données. Les streams exigent un RabbitMQ autogéré, un hébergeur spécialisé ou des brokers dans votre propre compte, exploités pour vous.
Questions fréquentes
Quelle différence entre un stream et une file d'attente RabbitMQ ?
Une file d'attente retire un message dès qu'un consommateur l'acquitte : chaque message est traité une fois et la file se vide. Un stream conserve les messages jusqu'à ce que la rétention les fasse expirer, et les consommateurs lisent à partir d'un offset : de nombreux consommateurs peuvent donc lire les mêmes messages et les rejouer. Les files d'attente disposent du dead-lettering, du TTL et des priorités ; les streams, non.
Qu'est-ce qu'un stream RabbitMQ ?
Un journal persistant, répliqué et en ajout seul, intégré à RabbitMQ. Les consommateurs le lisent sans en retirer les messages : plusieurs consommateurs peuvent donc lire les mêmes données et les relire depuis n'importe quel offset jusqu'à ce que la rétention les fasse expirer. On le déclare en définissant x-queue-type à stream.
Quand utiliser un stream plutôt qu'une quorum queue ?
Utilisez un stream pour la diffusion massive, le rejeu, un très haut débit ou de gros arriérés. Utilisez une quorum queue pour une distribution de tâches qui nécessite le dead-lettering, le TTL, les priorités ou la durabilité la plus forte, car les quorum queues ne confirment qu'une fois qu'un quorum a écrit sur disque, alors que les streams n'appellent pas fsync.
Comment éviter qu'un stream RabbitMQ remplisse le disque ?
Définissez la rétention avec max-age, max-length-bytes ou les deux, par argument de file d'attente ou par policy. La rétention s'applique par segment et le segment par défaut fait 500 Mo : prévoyez donc au moins un segment de marge supplémentaire par stream.
Les streams RabbitMQ prennent-ils en charge les dead letter exchanges ou le TTL ?
Non. Les streams ne prennent en charge ni les dead letter exchanges, ni le TTL des messages, ni les limites de longueur de file, ni les priorités, ni la déclaration exclusive ou non durable. Les paramètres de rétention remplacent le TTL et les limites de longueur.
Amazon MQ prend-il en charge les streams RabbitMQ ?
Non. Le guide du développeur d'Amazon MQ indique que les streams ne sont pas pris en charge et que la création d'un stream entraînera une perte de données.