RabbitMQ 4.0 a supprimé la mise en miroir des files classiques : chaque file classique en miroir doit donc devenir une quorum queue avant qu'un cluster passe en 4.x. Les quorum queues se répliquent via Raft, valident à la majorité et appliquent par défaut une limite de livraison de 20. L'ordre de migration est le suivant : repérer les politiques de mise en miroir, nettoyer les fonctionnalités non prises en charge, déplacer les files, puis effectuer la mise à niveau.
Utilisez les quorum queues partout où la perte d'un message compte, et les files classiques uniquement pour des charges éphémères : réponses RPC de courte durée, consommateurs exclusifs et files temporaires nommées par le serveur. Si le déplacement des files s'inscrit dans une mise à niveau de la 3.13 vers la 4.x, nos mises à niveau RabbitMQ traitent la migration des files et la mise à niveau de version dans un seul et même plan.
Ce guide explique ce qu'est réellement une quorum queue, les différences concrètes, ce que les quorum queues ne prennent pas en charge, ainsi qu'une voie de migration que nous avons appliquée sur des clusters de production.
Qu'est-ce qu'une quorum queue ?
Une quorum queue est un type de file moderne fondé sur l'algorithme de consensus Raft. Au lieu d'une copie principale accompagnée de miroirs facultatifs, elle maintient un ensemble de membres répliqués (un leader et plusieurs followers) répartis sur les nœuds d'un cluster.
Les écritures ne sont confirmées qu'une fois acceptées par une majorité de membres. C'est cette exigence de majorité qui garantit la sécurité des données des quorum queues, et c'est aussi elle qui définit leur comportement en cas de panne : trois membres tolèrent la perte d'un nœud ; en cas de perte de deux, la file cesse d'accepter les écritures, par conception, plutôt que de risquer une divergence.
Les membres sont placés à raison d'un par nœud. Dans un cluster de cinq nœuds, une file à trois membres occupe trois nœuds et en laisse deux de côté : le facteur de réplication est indépendant de la taille du cluster.
Les trois types de files
Type
Réplication
Idéal pour
Classique
Copie unique, sans réplication
Files éphémères, exclusives ou nommées par le serveur
Quorum
Répliquée via Raft, validation à la majorité
Messages métier durables dont la perte est inacceptable
Streams
Journal répliqué en ajout seul
Rejeu, diffusion vers de nombreux consommateurs, rétention longue
Les files classiques en miroir constituaient une quatrième option, qui n'existe plus. La mise en miroir a été dépréciée dans la branche 3.x puis supprimée dans RabbitMQ 4.0.
Principales différences entre files classiques et quorum queues
File classique
Quorum queue
Durabilité
Facultative
Toujours durable
Réplication
Aucune
Validation à la majorité des membres
Stockage
Mémoire avec pagination
Toujours écrite sur disque
Comportement en cas de panne
File perdue avec son nœud
Survit à la perte d'une minorité de nœuds
Files exclusives
Prises en charge
Non prises en charge
Files nommées par le serveur
Prises en charge
Non prises en charge
Prefetch QoS global
Pris en charge
Par consommateur uniquement
Limite de livraison
Aucune par défaut
20 par défaut depuis la 4.0
En pratique : les files classiques privilégient la souplesse et un faible surcoût, les quorum queues la sécurité des données et la tolérance aux pannes. Pour y parvenir, les quorum queues consomment davantage de disque et de trafic réseau.
Quand utiliser des quorum queues plutôt que des files classiques
Utilisez des quorum queues lorsque le message représente un vrai travail : une commande, un paiement, un job qui ne doit pas disparaître. Cela couvre la grande majorité de la messagerie d'entreprise, et c'est pourquoi la réplication est désormais le type de file par défaut le plus raisonnable pour les nouveaux services RabbitMQ.
Utilisez des files classiques lorsque la file est réellement jetable : files de réponse RPC liées à une connexion, files exclusives censées disparaître avec leur consommateur, ou files temporaires nommées par le serveur. Dans ces cas, la réplication ajoute un coût et les fonctionnalités non prises en charge sont précisément celles dont vous avez besoin.
Utilisez des streams lorsque plusieurs consommateurs indépendants doivent lire les mêmes messages, ou que vous avez besoin de rejouer les messages sur une fenêtre de rétention.
Ce que les quorum queues ne prennent pas en charge
C'est là que les migrations cassent : vérifiez ces points avant d'en planifier une. Les quorum queues ne prennent pas en charge :
Les files non durables : elles sont toujours durables
Les files exclusives : incompatibles avec le modèle de réplication
Les files nommées par le serveur : le nom doit être déclaré explicitement
Le prefetch QoS global : seul le prefetch par consommateur fonctionne. Consultez régler le prefetch count pour en mesurer les implications
L'exclusivité de consommateur : utilisez plutôt Single Active Consumer
Les applications qui s'appuient sur l'un de ces points nécessitent une modification de code, pas seulement un changement de type de file.
La limite de livraison
Depuis RabbitMQ 4.0, la limite de livraison des quorum queues est fixée à 20 par défaut. Après vingt tentatives de livraison, un message est supprimé ou envoyé en dead-letter au lieu d'être relivré indéfiniment.
Avant la 4.0, il n'y avait aucune limite : un consommateur en échec permanent pouvait donc relivrer un message empoisonné à l'infini. Le nouveau réglage par défaut améliore la sécurité, mais il modifie le comportement lors de la mise à niveau : si votre application dépend de tentatives illimitées, vous allez commencer à perdre des messages que vous conserviez jusque-là.
Définissez x-delivery-limit pour la relever, ou -1 pour rétablir l'ancien comportement illimité. Ce rétablissement n'est pas recommandé : configurez plutôt une dead-letter queue, afin que les échecs soient capturés au lieu de tourner en boucle.
Comment migrer des files classiques vers des quorum queues
Le type d'une file est fixé à sa déclaration et ne peut pas être modifié par une politique. Migrer revient donc à créer de nouvelles files, et non à modifier les files existantes.
Commencez par un audit. Repérez toutes les files qui utilisent l'exclusivité, une déclaration nommée par le serveur ou le prefetch global. Elles nécessitent des modifications applicatives avant toute autre étape.
Déclarez la nouvelle file avec l'argument x-queue-type défini à quorum. Trois membres constituent le réglage pratique par défaut pour la haute disponibilité.
Videz l'ancienne file. Faites consommer les deux files, laissez la file classique se vider, puis cessez d'y publier.
Basculez les producteurs dès que l'ancienne file est à zéro.
Supprimez la file classique uniquement après une période de rétention complète sans incident.
Le plugin Shovel peut transférer les messages de l'une à l'autre s'il n'est pas possible de vider la file sur place. Déroulez toute la séquence en préproduction d'abord : c'est sur la liste des fonctionnalités non prises en charge que les équipes découvrent les problèmes, et les découvrir en production signifie un rollback d'urgence.
Comment migrer des files classiques en miroir vers des quorum queues avec RabbitMQ 4 ?
Migrez avant la mise à niveau, car RabbitMQ 4.0 ne dispose plus de la réplication qu'assurent les politiques ha-mode. Dans l'ordre :
Repérez les politiques de mise en miroir sur la 3.13. Exécutez rabbitmq-diagnostics check_if_cluster_has_classic_queue_mirroring_policy ; la commande renvoie un code non nul si une politique active la mise en miroir. rabbitmq-diagnostics list_policies_with_classic_queue_mirroring les liste. Les clés à rechercher sont ha-mode, ha-params, ha-sync-mode, ha-promote-on-shutdown, ha-promote-on-failure et queue-master-locator.
Listez les files couvertes par ces politiques. Toute file classique dont la politique effective contient ha-mode doit changer de type. rabbitmqctl list_queues name policy effective_policy_definition type les affiche par virtual host, sur RabbitMQ 3.10.13, 3.11.5 ou version ultérieure.
Nettoyez ce que les quorum queues ne prennent pas en charge. RabbitMQ valide strictement les arguments de file : retirez donc du code applicatif les déclarations exclusives et non durables, les files nommées par le serveur, le prefetch global et les arguments propres à la mise en miroir. Certains peuvent passer dans une politique.
Choisissez une voie. Migration par virtual host sur le même cluster ; blue-green vers un nouveau cluster 4.x avec quorum queues ; ou sur place, dans le même virtual host, ce qui impose d'arrêter tous les consommateurs et producteurs de la file pendant son déplacement. Pour un cluster qui a aussi plusieurs versions de retard, le blue-green est généralement plus sûr, et c'est l'option par défaut d'AceMQ : le nouveau cluster 4.x est construit sur la 4.2.8 ou ultérieure, car nous évitons la 4.1.3.
Déclarez les quorum queues. Définissez x-queue-type à quorum lors de la déclaration, avec trois membres pour la haute disponibilité (HA). Videz la file classique ou déplacez ses messages avec le plugin Shovel, puis basculez les producteurs.
Testez sous charge. Le comportement des quorum queues diffère de celui des files classiques en miroir sous charge et dans les cas limites, et la limite de livraison de 20 envoie désormais en dead-letter des messages qui étaient auparavant relivrés indéfiniment. Faites une répétition en préproduction avec une dead-letter queue (DLQ) en place.
Supprimez les politiques ha-*, vérifiez que la commande de contrôle renvoie zéro, puis passez en 4.x via une mise à niveau progressive (rolling upgrade), un nœud à la fois, après une répétition hors production.
Migrer des files classiques en miroir vers des quorum queues avec RabbitMQ 4
La mise en miroir des files classiques a été rendue obsolète en 2021 puis supprimée dans RabbitMQ 4.0. Si un cluster 3.13 repose encore sur des politiques ha-mode, la réplication qu'elles assurent n'existe pas en 4.x : le passage aux quorum queues doit donc être planifié sur la 3.13, avant ou pendant la mise à niveau, et non après.
Commencez par repérer toutes les politiques qui activent la mise en miroir. RabbitMQ 3.13 fournit précisément deux diagnostics pour cela :
# exits non-zero if any policy enables classic queue mirroring
rabbitmq-diagnostics check_if_cluster_has_classic_queue_mirroring_policy
# lists those policies
rabbitmq-diagnostics list_policies_with_classic_queue_mirroring -s --formatter=pretty_table
La documentation RabbitMQ décrit deux voies de migration :
Migrer par virtual host. Créez un nouveau virtual host sur le même cluster, déclarez-y les quorum queues et redirigez les applications en modifiant leurs paramètres de connexion. C'est la voie la plus efficace lorsque le code applicatif ne dépend plus de fonctionnalités absentes des quorum queues, car le même code fonctionne avec les deux types de files.
Blue-green vers un nouveau cluster 4.x. Construisez un cluster 4.x avec quorum queues, basculez-y consommateurs et producteurs, puis videz le cluster 3.13. L'équipe RabbitMQ publie un outillage rabbitmqadmin v2 pour transférer des définitions 3.13 avec files classiques en miroir vers un cluster 4.x avec quorum queues. Cette approche réunit la mise à niveau de version et le changement de type de file d'attente en une seule bascule.
Dans les deux cas, éliminez d'abord les fonctionnalités incompatibles. Les déclarations exclusives ou non durables, les files nommées par le serveur et le prefetch global exigent des modifications de code. Les arguments de file qui n'avaient de sens que pour la mise en miroir peuvent généralement être supprimés ou déplacés dans une politique. Nous privilégions la voie blue-green pour les parcs qui ont aussi plusieurs versions mineures de retard, car elle offre une possibilité de retour arrière qu'une mise à niveau sur place n'offre pas.
Si le changement de type de file s'inscrit dans une mise à niveau de la 3.13 vers la 4.x, notre service de mise à niveau RabbitMQ planifie conjointement la migration des files et la mise à niveau de version, avec un retour arrière testé.
Déclarer une quorum queue avec x-queue-type
Une quorum queue est déclarée par le client avec l'argument x-queue-type défini à quorum. Il ne peut pas être défini par une politique, car une politique peut changer après la déclaration, contrairement au type de file. Par défaut, la file reçoit jusqu'à trois membres, un par nœud ; x-quorum-initial-group-size modifie ce nombre.
La file doit être durable et non exclusive, sinon la déclaration échoue. Si une file classique existante porte déjà le même nom, la déclaration échoue avec une erreur PRECONDITION_FAILED, car les arguments ne correspondent pas. C'est généralement le signe qu'une étape de la migration a été sautée.
Performances : débit et latence
Les quorum queues ne sont pas systématiquement plus lentes, mais le compromis est réel. Chaque écriture attend l'acquittement d'une majorité, ce qui ajoute de la latence par rapport à une copie unique non répliquée. En contrepartie, le débit sous charge soutenue est bien plus prévisible que tout ce qu'ont jamais offert les files classiques en miroir : la mise en miroir se dégradait fortement avec la longueur des files, ce qui n'est pas le cas des quorum queues.
Gardez quoi qu'il arrive des files courtes. Une quorum queue contenant des millions de messages se comportera moins bien qu'une file qui en contient quelques milliers, car chaque membre stocke l'intégralité du backlog sur disque.
Vous préparez une migration sans savoir quelles files peuvent être déplacées sans risque ? AceMQ mène ces migrations sur des clusters de production, y compris l'étape d'audit que la plupart des équipes négligent. Échangez avec un ingénieur AceMQ.
Exploiter les quorum queues en production
Trois écueils piègent régulièrement les équipes après la migration.
Les membres se gèrent explicitement. Ajouter un nœud au cluster ne l'ajoute pas aux files existantes. Utilisez add_member, delete_member, grow et shrink pour gérer les membres de façon délibérée. Les équipes qui ajoutent des nœuds en supposant que la réplication suit sont surprises de constater qu'une file n'a toujours des membres que sur les trois nœuds d'origine.
La maintenance Kubernetes exige de drainer le broker. Lors d'une évaluation de cluster en 2026, nous avons relié des pertes de quorum récurrentes à des maintenances de nœuds effectuées sans drainer d'abord le broker. Un drain Kubernetes évince le pod, mais le nœud a besoin de son propre arrêt propre pour que les membres puissent transférer le rôle de leader. Sauter cette étape transforme une simple gestion des correctifs en panne.
Vérifiez votre version de correctif avant de tout repenser. Lors de la même mission, nous avons attribué des erreurs de reconnaissance de nœuds à un défaut de la version 4.2.3, corrigé dans les builds 4.2.x ultérieurs et dans la série 4.3. Des erreurs de membres qui persistent après un redémarrage propre et avec une configuration correcte méritent d'abord une vérification dans les notes de version. Notre guide de dépannage RabbitMQ couvre la démarche de diagnostic plus large.
Pour la reprise après sinistre, vérifiez que le cluster de secours ne s'active qu'en cas de panne du cluster principal. Un cluster de secours qui démarre alors que le principal est sain provoque un split-brain, et la récupération exige alors de recréer manuellement les nœuds et de relancer l'élection de leader. Passage des files classiques aux quorum queues pendant une migration de 3.x vers 4.x ? Voir les services de mise à niveau RabbitMQ.
AceMQ propose du conseil RabbitMQ pour les déploiements d'entreprise, notamment la planification de la migration, l'évaluation de clusters et la réponse aux incidents 24/7.
La place de cette migration dans un projet plus large (depuis un autre broker, ou vers une nouvelle version majeure dans la même fenêtre) est détaillée dans le guide de migration RabbitMQ.
Gérer les membres d'une quorum queue : grow, shrink et rééquilibrage
La gestion des membres n'est pas automatique, sauf si vous l'activez. La CLI rabbitmq-queues s'en charge :
# add or remove one member of one queue
rabbitmq-queues add_member [-p <vhost>] <queue-name> <node>
rabbitmq-queues delete_member [-p <vhost>] <queue-name> <node>
# add a member on <node> for all matching queues, or only those with an even member count
rabbitmq-queues grow <node> <all | even> [--vhost-pattern <pattern>] [--queue-pattern <pattern>]
# remove all members hosted on <node>
rabbitmq-queues shrink <node> [--errors-only]
# spread leaders evenly across nodes
rabbitmq-queues rebalance quorum --vhost-pattern "production.*"
Après l'ajout d'un nœud, la séquence habituelle consiste à exécuter grow vers le nouveau nœud, puis rebalance pour que les leaders ne restent pas tous sur les trois nœuds d'origine. Avant de retirer un nœud, exécutez shrink sur celui-ci afin qu'aucune file ne perde un membre sur lequel elle comptait pour sa majorité.
Le rapprochement continu des membres (continuous membership reconciliation) automatise l'étape grow. Avec quorum_queue.continuous_membership_reconciliation.enabled = true et un target_group_size, RabbitMQ étend les files qui sont en dessous de la cible vers des nœuds qui ne les hébergent pas encore. Il s'exécute par défaut toutes les 60 minutes, ainsi qu'après des événements comme l'arrivée d'un nœud. Il est désactivé par défaut. auto_remove, qui supprime les membres situés sur des nœuds ayant quitté le cluster, est un paramètre distinct, lui aussi désactivé par défaut.
Questions fréquentes
Quels sont les différents types de files dans RabbitMQ ?
Il y en a trois : les files classiques (copie unique, sans réplication), les quorum queues (répliquées via Raft, validation à la majorité) et les streams (journal répliqué en ajout seul, avec rétention). Les files classiques en miroir constituaient un quatrième type, supprimé dans la 4.0.
Qu'est-ce qu'une quorum queue ?
Un type de file RabbitMQ répliquée qui s'appuie sur l'algorithme de consensus Raft. Elle maintient un membre leader et des membres followers répartis sur les nœuds du cluster, et valide les écritures dès qu'une majorité les a acceptées : elle survit ainsi à la panne d'une minorité de nœuds sans perdre de messages.
Quelle est la limite de livraison des quorum queues ?
Elle est fixée à 20 par défaut depuis RabbitMQ 4.0. Après vingt tentatives de livraison, le message est supprimé ou envoyé en dead-letter. Les versions antérieures n'avaient aucune limite. Définissez x-delivery-limit pour la modifier, ou -1 pour la désactiver, ce qui n'est pas recommandé.
Quand utiliser des files classiques plutôt que des quorum queues ?
Uniquement pour des charges éphémères : files exclusives, files temporaires nommées par le serveur et files de réponse RPC. Tout ce qui doit être durable doit passer en quorum.
Quelle est la différence entre Kafka et les quorum queues de RabbitMQ ?
Les quorum queues sont une file de messages répliquée : les messages sont consommés puis supprimés. Kafka est un journal distribué dans lequel les consommateurs suivent leurs offsets dans des données conservées et peuvent les rejouer. Pour une sémantique de type journal au sein du broker, les streams sont l'équivalent le plus proche.
Quelles sont les limites des quorum queues ?
Pas de files non durables, pas de files exclusives, pas de files nommées par le serveur, pas de prefetch QoS global et pas d'exclusivité de consommateur. Elles écrivent aussi systématiquement sur disque et consomment donc plus de stockage qu'une file classique équivalente.
Comment déclarer une quorum queue ?
Définissez l'argument de file x-queue-type à quorum au moment de la déclaration. Ce type ne peut pas être appliqué ni modifié ensuite par une politique.
Peut-on convertir une file classique existante en quorum queue ?
Non. Le type d'une file est immuable une fois déclaré. Il faut créer une nouvelle file, vider l'ancienne, puis basculer les producteurs et supprimer la file d'origine.
Que vous deviez résoudre un incident de production, planifier une migration ou obtenir un second avis sur votre architecture, notre équipe est prête. Pas d’argumentaire commercial, seulement des réponses.