En bref : utilisez les quorum queues par défaut, et réservez les files classiques aux traitements réellement éphémères, à forte rotation, pour lesquels perdre un message en cas de panne d'un nœud est acceptable. C'est la bonne recommandation depuis un moment déjà, mais le raisonnement compte plus que la règle, car ce sont les deux exceptions et le coût de la migration qui piègent réellement les équipes.
Cette question revient sans cesse lors de nos audits RabbitMQ, généralement sous l'une de deux formes : un exploitant qui a hérité d'un cluster rempli de files classiques et veut savoir si la conversion vaut la perturbation, ou une équipe qui conçoit quelque chose de nouveau et a besoin d'un choix par défaut défendable.
Les trois types de files, comparés sur ce qui compte
RabbitMQ propose trois mécanismes de stockage à connaître, et le troisième n'est pas du tout une file, ce qui explique précisément qu'il soit mal utilisé.
La ligne qui tranche la plupart des conceptions est Résiste à une coupure de courant. Une quorum queue réplique et écrit chaque message sur disque sur un quorum de nœuds avant de le confirmer à l'éditeur. Une file classique persiste localement mais n'est pas répliquée : la panne d'un nœud emporte la file avec lui. Un stream est répliqué mais ne fait pas de fsync avant confirmation, ce qui l'expose au même risque que Kafka : acceptable pour de la télémétrie, inadapté aux paiements.
La ligne que l'on interprète mal est Lectures. Les files classiques et les quorum queues sont destructives : un consommateur prend le message et celui-ci disparaît. Les streams ne le sont pas : le message reste, et de nombreux consommateurs peuvent lire le même historique indépendamment, chacun à son propre offset. Si vous voulez relire des messages d'une file, c'est un stream qu'il vous faut.
Pourquoi une quorum queue peut se permettre un fsync
L'objection habituelle aux quorum queues est qu'écrire sur disque à chaque message doit forcément être lent. Ce n'est pas le cas, et la raison tient à un choix de conception qui mérite d'être compris, car c'est aussi la différence technique la plus nette entre RabbitMQ et Kafka.
Les quorum queues partagent un journal d'écriture anticipée (write-ahead log). Une seule écriture sur disque couvre des messages destinés à de nombreuses files différentes : le coût est amorti sur l'ensemble du broker au lieu d'être payé séparément par chaque file. C'est ce qui permet d'avoir à la fois de nombreuses files, une réplication avec fsync et un vrai débit, trois propriétés entre lesquelles il faut d'ordinaire en choisir deux.
Kafka fonctionne à l'inverse : le fsync se fait par partition, ce qui le rend assez coûteux pour que Kafka le déconseille par défaut et s'en remette à la seule réplication. C'est moins un défaut qu'un pari différent, mais cela signifie qu'un message Kafka acquitté se trouve dans le cache de pages de plusieurs brokers plutôt que sur disque.
Il existe un second avantage, plus subtil. Dans une quorum queue, Raft couvre l'état de livraison, et pas seulement le contenu des messages : quel message est attribué à quel consommateur, et combien de crédits ce consommateur détient. Après un basculement du leader, le nouveau leader reprend avec cet état intact au lieu de relivrer tout un lot. C'est ce mécanisme qui rend possibles le TTL par message, les priorités, les délais et le routage dead-letter.
Comment les quorum queues assurent durabilité et basculement
Le mécanisme d'amortissement du fsync décrit ci-dessus explique pourquoi les quorum queues sont assez rapides pour être utilisées par défaut. Il n'explique pas comment elles survivent à la mort d'un nœud en plein flux, et c'est ce qu'il faut comprendre avant de s'y fier en production.
Une quorum queue est un groupe Raft : un nombre impair de membres, un par nœud, dont l'un est élu leader à tout instant. Le leader accepte toutes les publications et toutes les livraisons aux consommateurs ; les followers répliquent le journal du leader et votent lors des élections. Lorsque le leader se tait, parce que le nœud a planté ou que le réseau l'a isolé, les followers le détectent par un heartbeat manqué, attendent un délai d'élection aléatoire pour éviter que deux followers ne déclenchent une élection au même instant, et le premier à obtenir la majorité des votes devient le nouveau leader pour un nouveau mandat (term). Aucune intervention de l'exploitant, et aucune interruption visible côté client au-delà de la reconnexion.
Ce que signifie réellement une confirmation d'éditeur : RabbitMQ ne renvoie la confirmation qu'une fois le message écrit sur une majorité des membres du groupe, et pas seulement sur le leader. Pour une file à trois membres, cela fait deux sur trois. L'écriture est alors durable, même si le nœud qui détient le troisième réplica ne revient jamais : sa perte vous coûte un réplica, pas le message.
C'est aussi cette exigence de majorité qui définit la disponibilité selon le nombre de pannes. Avec trois membres : en cas de perte d'un membre, les deux restants forment toujours une majorité, la file continue d'accepter les écritures et fonctionne simplement avec un réplica en moins jusqu'à ce que le nœud manquant revienne et se resynchronise à partir du journal Raft. En cas de perte de deux membres, le nœud survivant ne peut pas former de majorité à lui seul : la file cesse totalement d'accepter les écritures, par conception, plutôt que de risquer qu'un membre au journal incomplet devienne une source de vérité incontestée. C'est la même logique que pause_minority au niveau du cluster, appliquée à chaque file.
C'est également pourquoi un nombre pair de membres est pire qu'il n'y paraît, et pas seulement inutile. Une file à quatre membres ne tolère toujours que la perte d'un membre : au-delà, il reste deux survivants sur quatre, ce qui n'est pas une majorité. Vous avez ajouté un réplica entier, avec son surcoût Raft et sa consommation mémoire, pour exactement la même tolérance aux pannes qu'avec trois. Le nombre de membres doit donc toujours être impair. Le placement des réplicas suit la même logique que celui des nœuds du cluster : un membre par nœud, répartis sur des hôtes ou des zones de disponibilité distincts, pour qu'une seule panne d'infrastructure ne puisse pas mettre hors service deux membres d'une même file.
Exemple concret : des quorum queues pour le traitement des paiements
Le traitement des paiements est précisément la charge pour laquelle le modèle de durabilité ci-dessus a été conçu : chaque message compte, l'ordre compte au sein d'un compte, et une duplication silencieuse est pire qu'un réessai lent. Voici comment les éléments s'articulent dans ce cas précis.
Topologie. Une quorum queue à trois membres, avec un nœud par zone de disponibilité, satisfait à la fois l'exigence de durabilité et la perte d'une zone entière, sans traitement particulier. C'est le même schéma à trois zones que celui présenté dans notre guide sur la haute disponibilité, la reprise après sinistre et le dimensionnement des clusters ; une charge de paiements est exactement le cas qui justifie de ne pas se replier sur une seule zone pour économiser un nœud.
Des confirmations d'éditeur, pas de « fire-and-forget ». Le service qui initie un paiement attend la confirmation de publication du broker avant d'indiquer à l'appelant que le paiement est accepté. Compte tenu de la garantie d'écriture majoritaire décrite plus haut, cette confirmation signifie que l'instruction de paiement est durable sur au moins deux nœuds sur trois avant que quiconque en aval n'en soit informé.
Des réessais bornés avec dead-letter. Définissez x-delivery-limit sur la file pour qu'un message dont le traitement échoue en boucle ne tourne pas indéfiniment. Une fois ses tentatives de livraison épuisées, routez-le vers une file de dead-letter dédiée au lieu de l'abandonner. Une DLQ de paiements doit être traitée comme une condition d'alerte, pas comme une corbeille : tout ce qui y arrive doit être examiné par un humain ou par une tâche de rapprochement automatisée, car il s'agit d'un paiement qui n'a pas abouti proprement lors des premières tentatives.
Des consommateurs idempotents indexés sur l'identifiant de paiement. Les quorum queues, comme les files classiques, assurent une livraison au moins une fois (at-least-once). Avec la limite de livraison et la DLX décrites ci-dessus, un consommateur peut recevoir plusieurs fois le même message de paiement. Concevez le consommateur pour qu'il vérifie (ou mette à jour par upsert) un identifiant de paiement déjà enregistré comme traité avant d'appliquer à nouveau la transaction : une relivraison devient alors sans effet, au lieu de provoquer un double débit ou une double écriture comptable.
Un consommateur actif unique pour un règlement ordonné. Lorsque l'ordre de règlement compte au sein d'un compte, par exemple pour appliquer débits et crédits dans l'ordre, définissez x-single-active-consumer sur la file pour qu'une seule instance de consommateur la traite à la fois, avec basculement automatique vers un consommateur de secours si l'instance active tombe. Vous sacrifiez un peu de débit pour un ordre strict par file, ce qui est généralement le bon arbitrage pour des mouvements de fonds.
Ce qu'il faut superviser. La profondeur de la file et le retard des consommateurs sur la file de paiements elle-même, la profondeur de la DLQ (elle doit rester proche de zéro, et toute croissance durable est un incident), le nombre de relivraisons par consommateur (une tendance à la hausse signale un bug du consommateur, pas un problème de santé du broker) et l'état de synchronisation des réplicas sur les trois membres, afin de repérer un réplica en retard avant qu'il ne soit le dernier restant. Pour aller au-delà de cette seule file, voyez comment les mêmes garanties de durabilité se combinent dans une architecture événementielle plus large dans exchanges, files et bindings pour les microservices, et pour une vue complète de la façon dont AceMQ cadre une architecture de messagerie adaptée aux paiements, consultez résilience et optimisation des paiements.
Ce que vous perdez en convertissant
La plupart des recommandations s'arrêtent à « utilisez les quorum queues ». Le plus utile, ce sont les deux points qui piègent réellement les équipes.
La consommation mémoire par file est plus élevée. Une quorum queue porte un état Raft et consomme plus de mémoire qu'une file classique. Si votre conception repose sur des milliers de petites files de courte durée (un schéma courant, par session ou par requête), les convertir toutes d'un coup peut placer un cluster sous une pression mémoire qui n'existait pas auparavant. C'est la façon la plus courante dont une migration bien intentionnée provoque un incident.
La priorité ne fonctionne pas de la même façon. Les files classiques implémentent la priorité via x-max-priority. Les quorum queues traitent la priorité différemment et ne fournissent pas un mécanisme identique : une file dont le comportement dépend de la sémantique de priorité classique doit être repensée, pas simplement redéclarée. Repérez ces files avant de planifier la migration, pas pendant.
Il existe aussi un plafond strict à connaître : une quorum queue n'est pas partitionnée. Elle plafonne autour de 80 000 messages par seconde avec réplication et fsync, et vous ne pouvez pas répartir une file sur plusieurs nœuds pour aller plus vite. Le débit agrégé sur de nombreuses files monte très bien en charge, mais un flux unique très sollicité nécessite un partitionnement applicatif : publier sur N files avec une clé de routage qui répartit la charge. Nous détaillons cette contrainte et la comparons au partitionnement de Kafka dans RabbitMQ ou Kafka.
Choisir, et ce que coûte réellement une conversion
Quatre questions suffisent à trancher pour une file donnée.
L'avertissement de ce schéma reflète la réalité opérationnelle : le type de file est fixé à la déclaration. Il n'existe aucune conversion sur place. Migrer, c'est déclarer une nouvelle quorum queue, y diriger éditeurs et consommateurs, vider la file classique et la supprimer une fois vide. Sur un système en production, c'est un changement coordonné avec une fenêtre de vidage, pas une modification de configuration.
Le séquencement qui fonctionne : convertissez d'abord les files qui portent un travail que vous ne pouvez pas vous permettre de perdre, par petits lots, en surveillant la mémoire au fur et à mesure. Laissez en classique les files réellement éphémères. Résistez à la tentation de tout convertir en une seule passe : c'est précisément le changement qui transforme une amélioration de la sécurité en panne.
Si vous envisagez une conversion sur un parc important et voulez que les pièges liés à la mémoire et à la priorité soient identifiés avant de commencer plutôt qu'en cours de route, cela fait normalement partie d'un bilan de santé RabbitMQ ; vous pouvez aussi contacter AceMQ pour en cadrer le périmètre.
Quelle est la différence entre une file classique et une quorum queue ?
Une file classique réside sur un seul nœud, avec une persistance message par message : si ce nœud tombe, la file et son contenu restent indisponibles jusqu'à son retour. Une quorum queue est répliquée sur un nombre impair de nœuds grâce au consensus Raft, et écrit chaque message sur disque sur un quorum de réplicas avant de le confirmer à l'éditeur. La file classique est locale et adaptée aux fortes rotations ; la quorum queue est répliquée et sûre, et c'est le choix par défaut recommandé pour tout ce que vous ne pouvez pas vous permettre de perdre.
Les quorum queues sont-elles plus lentes que les files classiques ?
Un peu, et moins qu'on ne le pense généralement. Une quorum queue seule atteint environ 80 000 messages par seconde avec réplication et fsync ; une file classique va un peu plus vite parce qu'elle ne fait ni l'un ni l'autre. Les quorum queues restent rapides parce qu'elles partagent un journal d'écriture anticipée : un seul fsync couvre de nombreuses files, et le coût est amorti au lieu d'être payé file par file.
Quand faut-il encore utiliser une file classique ?
Quand le travail est réellement éphémère, avec une forte rotation, et que perdre un message en cas de panne d'un nœud est acceptable : diffusions d'invalidation de cache, notifications éphémères, traitements temporaires qui seront de toute façon régénérés. Les files classiques consomment aussi moins de mémoire par file, ce qui compte si vous exploitez un très grand nombre de petites files de courte durée.
Peut-on convertir une file classique en quorum queue sur place ?
Non. Le type de file est fixé à la déclaration : la conversion consiste donc à déclarer une nouvelle quorum queue, à y basculer éditeurs et consommateurs, à vider la file classique, puis à la supprimer. Traitez-la comme une migration avec une fenêtre de vidage. Convertir des milliers de files en une seule passe est la migration qui tourne mal le plus souvent.
Les quorum queues prennent-elles en charge la priorité des messages ?
Pas de la même façon. Les files classiques gèrent la priorité via l'argument x-max-priority ; les quorum queues traitent la priorité différemment et n'offrent pas un mécanisme identique : une file qui dépend de la sémantique de priorité classique doit être repensée, pas simplement convertie. Avec la consommation mémoire plus élevée par file, ce sont les deux pièges qui surprennent les équipes en pleine migration.
De combien de nœuds les quorum queues ont-elles besoin ?
D'un nombre impair, trois étant le minimum pratique : cela tolère la panne d'un nœud tout en conservant une majorité. Cinq est courant dans les déploiements plus importants et tolère deux pannes. Au-delà de cinq, le surcoût du consensus augmente sans gain de sécurité notable : les clusters plus grands répondent donc généralement à d'autres besoins que le quorum.
Les streams remplacent-ils les quorum queues ?
Non : ils répondent à un autre problème. Un stream est un journal en ajout seul à lecture non destructive : consommer un message ne le supprime pas, et de nombreux consommateurs peuvent lire le même historique indépendamment. Une quorum queue est une file de travail à lecture destructive, avec acquittement message par message. Les streams ne font pas non plus de fsync avant confirmation : leur garantie de durabilité est donc plus faible.
Les quorum queues résistent-elles aux pannes de nœuds ?
Oui, c'est leur raison d'être. Une quorum queue réplique chaque message sur une majorité de ses membres grâce au consensus Raft avant de confirmer la publication : une file à trois membres continue donc de fonctionner après la perte d'un nœud, et ne cesse d'accepter les écritures qu'en cas de perte d'un second, puisque deux membres sur trois ne sont alors plus joignables. Placez un membre par nœud, sur des hôtes ou des zones de disponibilité distincts, pour qu'une seule panne d'infrastructure ne puisse pas supprimer plus d'un réplica à la fois.
Les quorum queues tiennent-elles le débit d'un traitement de paiements ?
Une quorum queue seule plafonne autour de 80 000 messages par seconde avec réplication et fsync, bien au-delà de ce dont la plupart des charges de paiement ont besoin par file. Si un flux particulier exige davantage, répartissez-le sur plusieurs quorum queues à l'aide d'une clé de routage plutôt que d'attendre d'une seule file qu'elle monte encore en charge, car les quorum queues ne sont pas partitionnées en interne. Avec les confirmations d'éditeur, `x-delivery-limit`, le dead-lettering et des consommateurs idempotents, le débit est rarement le facteur limitant pour les paiements ; c'est l'exactitude en cas de réessai qui l'est.
Que vous deviez résoudre un incident de production, planifier une migration ou obtenir un second avis sur votre architecture, notre équipe est prête. Pas d’argumentaire commercial, seulement des réponses.