BlogRabbitMQ

RabbitMQ peut-il perdre des messages ? La durabilité des messages RabbitMQ expliquée

Scott Sternloff

Par Scott Sternloff, Architecte d’entreprise senior

LinkedIn · Mis à jour le · Lecture : 12 min

RabbitMQ peut-il perdre des messages ? La durabilité des messages RabbitMQ expliquée
Sur cette page

Oui, RabbitMQ peut perdre des messages, presque toujours parce qu'un maillon de la chaîne de durabilité manque. La durabilité des messages RabbitMQ exige une file durable, un message publié avec le delivery mode 2, un producteur qui attend une confirmation et un consommateur qui acquitte après traitement. Qu'un seul de ces éléments manque, et une perte devient possible.

L'erreur la plus courante en matière de durabilité des messages RabbitMQ consiste à croire qu'une file durable suffit. Ce n'est pas le cas, et la documentation explique clairement pourquoi : les files durables sont récupérées au démarrage du nœud, y compris les messages publiés comme persistants, tandis que les messages transitoires sont abandonnés pendant la reprise, même s'ils se trouvaient dans une file durable.

RabbitMQ peut-il perdre des messages ? La réponse honnête

Oui, de cinq manières distinctes, qu'il vaut la peine de nommer séparément car les correctifs diffèrent.

  1. Le producteur n'en a jamais rien su. Le client a écrit des trames sur son socket et est passé à autre chose. La documentation de RabbitMQ sur les producteurs est sans ambiguïté : un client qui a écrit une trame sur son socket ne peut pas supposer que le message a atteint le serveur. Sans confirmations, un message perdu en transit ressemble à une publication réussie.
  2. Le broker ne l'avait qu'en mémoire. RabbitMQ n'écrit pas un message sur disque à l'instant où il arrive. Si le nœud tombe dans cet intervalle, un message que vous pensiez persistant a disparu.
  3. La file n'était pas durable, ou le message n'était pas persistant. L'un sans l'autre ne suffit pas.
  4. Le consommateur l'a pris et il est tombé. Avec l'acquittement automatique, RabbitMQ considère un message comme livré dès qu'il atteint le socket. Si le consommateur plante en cours de traitement, rien ne le relivre.
  5. Le dead-lettering l'a abandonné. La stratégie de dead-lettering par défaut republie sans confirmations : un message retiré de la file source peut donc disparaître si la cible est injoignable.

Chaque incident de durabilité des messages RabbitMQ sur lequel nous sommes intervenus relevait de l'un de ces cinq cas.

Qu'est-ce que la chaîne de durabilité des messages RabbitMQ ?

La durabilité des messages RabbitMQ repose sur quatre maillons, chacun relevant d'un responsable distinct.

MaillonDéfini parCe contre quoi il protègeDéfaillance s'il manque
Exchange et file durablesDéclaration (durable: true)Perte de la topologie au redémarrageFile et bindings disparus après le démarrage d'un nœud
Delivery mode persistant (2)Producteur, message par messagePerte de messages au redémarrageMessage abandonné pendant la reprise
Publisher confirmsProducteur, confirm.selectPerte en transit ou avant l'écriture sur disqueLe producteur croit qu'un message perdu a été publié avec succès
Acquittement du consommateurConsommateur, basic.ackPerte pendant le traitementMessage abandonné lorsque le consommateur tombe

Ces maillons ne sont pas des alternatives. Ils sont en série, et un message n'est jamais plus sûr que le maillon le plus faible. Ce maillon est généralement celui des publisher confirms, car un producteur qui s'en passe semble en parfaite santé jusqu'au moment précis où il ne l'est plus.

Deux détails sur les confirmations comptent pour la durabilité des messages RabbitMQ. Pour un message persistant routé vers une file durable, RabbitMQ envoie la confirmation après avoir persisté le message sur disque : la confirmation signifie donc « écrit », pas « reçu ». Et le broker regroupe ces écritures disque sur de courts intervalles pour réduire les appels à fsync, ce qui constitue précisément la fenêtre pendant laquelle un message non confirmé est en danger.

L'obligation du producteur ne s'arrête pas à l'activation des confirmations. Il doit conserver les messages non confirmés à un endroit d'où il peut les retransmettre, et renvoyer tout ce que le broker n'a jamais acquitté une fois la connexion rétablie. Activer les confirmations en ignorant les callbacks, c'est payer le surcoût sans obtenir la garantie.

Pourquoi une file durable seule n'empêche pas la perte

Parce que durable et persistant désignent des choses différentes, et que ces mots sont assez proches pour être régulièrement confondus.

  • Durable est une propriété de la file, fixée à la déclaration. La définition de la file (nom, arguments, bindings) est écrite dans la base de schéma et recréée au retour du nœud. Il s'agit de métadonnées, pas de données.
  • Persistant est une propriété du message, définie à chaque publication via la propriété delivery mode : 2 pour persistant, 1 pour transitoire. Elle indique au broker d'écrire le corps du message sur disque.

Publiez des messages transitoires dans une file durable, et ils sont abandonnés lors de la reprise. Publiez des messages persistants dans une file non durable, et la file disparaît en les emportant avec elle.

Il y a un troisième élément que l'on oublie : l'exchange doit lui aussi être durable. Un exchange transitoire disparaît au redémarrage, ses bindings avec lui, et une file durable survit sans plus rien pour l'alimenter. Les producteurs continuent de publier et les messages ne vont nulle part, ce qui est pire qu'une erreur, puisque c'est silencieux.

Les quorum queues améliorent-elles la durabilité des messages RabbitMQ ?

Nettement, oui : elles éliminent entièrement le cas de la panne d'un nœud unique.

Les quorum queues sont toujours durables ; impossible d'en déclarer une non durable. Elles répliquent via l'algorithme de consensus Raft, qui exige l'accord d'une majorité de membres, soit (N/2)+1 où N est la taille du groupe. La taille de groupe par défaut est de 3, et un nombre impair est recommandé pour que la majorité soit sans ambiguïté. Sur les clusters plus grands, définissez-la explicitement avec x-quorum-initial-group-size au lieu de vous fier à la valeur par défaut.

C'est plus important qu'avant, car les files classiques n'ont plus aucune réplication. La mise en miroir des files classiques a été supprimée dans RabbitMQ 4.0 après trois ans de dépréciation, et les files classiques sont désormais un type de file non répliqué. Sur la 4.x, une file classique non répliquée qui contient quoi que ce soit d'important transforme la perte d'un seul nœud en perte de données. La migration des files classiques vers les quorum queues est la solution, et elle ne se fait pas d'un simple claquement de doigts : les quorum queues ne prennent pas en charge l'exclusivité, et leur profil d'exploitation diffère.

Ce que les quorum queues ne font pas, c'est réparer le reste de la chaîne. La réplication protège le message une fois que le broker l'a accepté. Elle ne peut rien contre un producteur qui n'a jamais attendu de confirmation, ni contre un consommateur qui a acquitté avant d'avoir terminé. Des équipes migrent en espérant que la durabilité des messages RabbitMQ devienne le problème de quelqu'un d'autre, puis perdent des messages au même rythme qu'avant.

Les quorum queues ajoutent en revanche un contrôle utile contre les messages empoisonnés : x-delivery-limit, dont la valeur par défaut est 20. Un message relivré au-delà de cette limite est envoyé en dead-letter ou abandonné au lieu de tourner indéfiniment. Les files classiques n'ont pas d'équivalent, et c'est ainsi que des boucles de remise en file deviennent des incidents.

Que sont les messages non acquittés et pourquoi comptent-ils ?

Un message non acquitté (unacked) a été livré à un consommateur sans avoir encore été acquitté. RabbitMQ le conserve pour pouvoir le relivrer si ce consommateur tombe. C'est une fonctionnalité de durabilité, mais un nombre croissant de messages non acquittés est l'un des signaux précoces les plus fiables d'un problème.

Le prefetch est le levier de contrôle. basic.qos limite le nombre de livraisons en cours par canal ; 0 signifie illimité, et c'est ce réglage qui pose problème. Selon les recommandations de RabbitMQ, le débit optimal se situe généralement entre 100 et 300, et un prefetch de 1 réduit nettement le débit. Les deux extrêmes font mal, chacun à sa manière :

  • Un prefetch illimité remet d'un coup tous les messages prêts à un consommateur. La mémoire augmente des deux côtés, la relivraison après un plantage est énorme, et un consommateur lent affame les autres puisque le travail est déjà attribué.
  • Un prefetch de 1 sérialise tout et passe le plus clair de son temps à attendre les allers-retours.

Lors d'une mission RabbitMQ intégrée à Boomi, nous avons traité exactement ce cas de figure. Le blocage des listeners côté intégration était directement corrélé à l'accumulation de messages non acquittés : les consommateurs avaient du travail attribué et ne le terminaient pas, si bien que le broker n'avait plus rien à donner aux autres. Le réglage du prefetch faisait partie du correctif. Tout comme le retour à la valeur par défaut d'un frame_max qui avait été abaissé de 128 Kio à 16 Kio, au détriment de l'efficacité et sans aucun bénéfice, et le basculement de la connexion client des IP directes des nœuds vers une VIP F5, pour que le basculement fonctionne réellement. Nous avons également évalué le single active consumer (x-single-active-consumer) pour les parties de la charge de travail nécessitant un traitement séquentiel : il ne maintient qu'un consommateur actif à la fois et bascule automatiquement, une réponse plus propre qu'un prefetch de 1.

Rien de tout cela n'était un défaut du broker. Tout en avait l'apparence, vu de l'application.

L'observabilité a compté autant que le réglage. Nous avons ajouté une instrumentation Prometheus et OpenTelemetry avec des tableaux de bord Grafana, car « la file se remplit » n'est pas un diagnostic : c'est la répartition entre messages prêts et non acquittés qui permet de distinguer un problème de producteur, un problème de consommateur et un problème d'acquittement.

Où le dead-lettering perd-il des messages ?

Le dead-lettering est généralement introduit pour la fiabilité, ce qui en fait un endroit où l'on casse facilement la durabilité des messages RabbitMQ sans s'en rendre compte.

Un message part en dead-letter lorsqu'il est rejeté avec basic.reject ou basic.nack sans remise en file, lorsque son TTL expire, lorsque la file dépasse une limite de longueur ou, sur les quorum queues, lorsqu'il dépasse la limite de livraison. Notez ce qui manque : si une file entière expire, ses messages ne partent pas en dead-letter. Ils disparaissent purement et simplement.

Le piège le plus sérieux est la stratégie par défaut. Le dead-lettering est at-most-once par défaut : le message est retiré de la file source et republié vers le dead-letter exchange sans publisher confirms. La documentation de RabbitMQ le dit sans détour : le dead-lettering dans un environnement en cluster n'est pas garanti sûr, car le message a déjà quitté la file d'origine alors que la republication peut ne pas aboutir.

Les quorum queues permettent de combler cette faille. Régler dead-letter-strategy sur at-least-once fait utiliser à la republication des publisher confirms internes. Il faut deux compléments : overflow réglé sur reject-publish, et un dead-letter-exchange effectivement configuré. Appliquer l'un sans les autres vous redonne l'ancien comportement, avec de la configuration en plus.

Configurez le dead-letter exchange et la routing key via une politique plutôt qu'avec les arguments de file x-dead-letter-exchange lorsque c'est possible. Les arguments sont fixés à la déclaration et ne peuvent pas changer sans redéployer les applications qui les déclarent, une situation inconfortable en plein incident.

RabbitMQ prend-il en charge la livraison exactly-once ?

Non, et toute réponse qui affirme le contraire décrit autre chose.

Le guide de fiabilité de RabbitMQ est sans ambiguïté : les acquittements garantissent une livraison at-least-once, et sans eux vous obtenez de l'at-most-once. L'exactly-once n'est pas au menu. La raison est structurelle et non une lacune d'implémentation : si le broker envoie une confirmation et que le réseau la perd avant que le producteur ne la voie, le producteur doit soit renvoyer le message (un doublon), soit y renoncer (une perte). Il n'existe pas de troisième option dans un système distribué aux liaisons non fiables.

Il en va de même en aval. Un consommateur peut recevoir un message déjà livré à un autre consommateur, et les relivraisons portent un indicateur redelivered positionné à true. Cet indicateur est un indice, pas la preuve que vous l'avez déjà vu.

La bonne conception est donc at-least-once plus des consommateurs idempotents. Attribuez à chaque message un identifiant métier stable au moment de la publication et rendez le traitement rejouable sans risque : upsert au lieu d'insert, vérification puis action au sein d'une transaction, ou enregistrement des identifiants traités avec un TTL. Les recommandations de RabbitMQ privilégient un traitement idempotent à des tables de déduplication explicites, car une table de déduplication est un état supplémentaire qui peut défaillir indépendamment.

C'est la partie la plus souvent négligée, et celle qui complète la durabilité des messages RabbitMQ au niveau de l'application plutôt qu'à celui du broker.

Checklist de durabilité pour la production

Passez-la en revue avant de supposer que le broker est en cause :

  • Exchanges et files déclarés durables, ou utilisation de quorum queues, qui sont toujours durables.
  • Delivery mode 2 sur chaque message important. Vérifiez la bibliothèque cliente : certaines sont en mode transitoire par défaut.
  • Publisher confirms activés et traités, avec un mécanisme de retransmission pour tout ce qui n'a pas été confirmé après une reconnexion.
  • Acquittement manuel, effectué une fois le traitement terminé, jamais avant.
  • Une valeur de prefetch choisie délibérément, ni laissée à illimité, ni réglée à 1 sans raison.
  • Une limite de livraison sur les quorum queues pour que les messages empoisonnés cessent de tourner en boucle.
  • Un dead-lettering configuré à dessein, en at-least-once lorsque les messages comptent.
  • Une supervision qui distingue messages prêts et non acquittés, pour différencier les problèmes de producteurs des problèmes de consommateurs.
  • Une version de broker prise en charge. Les garanties ne valent que sur une version qui reçoit encore des correctifs : consultez fin de vie et support des versions de RabbitMQ pour savoir où passent les limites.

Ce dernier point est moins théorique qu'il n'y paraît. Nous avons fait passer des clients par les versions 3.13.10 → 3.13.15 → 3.13.18 uniquement pour éliminer des vulnérabilités de sécurité avant de tenter une mise à niveau majeure, et, dans un autre cas, amené un client du secteur des paiements à RabbitMQ 4.2 sur quorum queues, en sautant délibérément les versions intermédiaires, à l'aide de déploiements en sidecar sur Kubernetes et d'une migration par étapes pour atteindre le zéro interruption. Ces deux chantiers relèvent de la durabilité des messages RabbitMQ, même si aucun ne modifie un argument de file.

Tracez votre chaîne de durabilité avec AceMQ

Vous perdez des messages sans pouvoir prouver où ? La cause est généralement un maillon précis défaillant plutôt qu'un problème général de fiabilité, et on peut le trouver. AceMQ réalise des évaluations RabbitMQ structurées qui retracent toute la chaîne, du producteur au consommateur : découvrez notre conseil RabbitMQ et notre support de messagerie 24/7 avec SLA, ou parlez à un ingénieur AceMQ.

FAQ

RabbitMQ peut-il perdre des messages ?

Oui, et la cause habituelle est une chaîne de durabilité incomplète plutôt qu'un défaut du broker. Un message ne survit que si la file est durable, que le message a été publié comme persistant, que le producteur a attendu une confirmation et que le consommateur a acquitté après traitement. Qu'un seul maillon manque, et une perte devient possible.

Les files RabbitMQ sont-elles persistantes par défaut ?

Non. La durabilité se définit au moment de la déclaration, et même une file durable abandonne les messages transitoires lors de la reprise. Les quorum queues font exception : elles sont toujours durables et ne peuvent pas être déclarées autrement.

Une file durable garantit-elle que les messages survivent à un redémarrage ?

Seule la définition de la file survit d'elle-même. Selon les termes de RabbitMQ, les files durables sont récupérées au démarrage du nœud, y compris les messages publiés comme persistants, tandis que les messages transitoires sont abandonnés pendant la reprise, même s'ils se trouvaient dans une file durable.

Quelle est la différence entre durable et persistant dans RabbitMQ ?

Durable qualifie la file et signifie que sa définition est récupérée après un redémarrage. Persistant qualifie le message, défini avec le delivery mode 2, et signifie que le broker l'écrit sur disque. Il faut les deux, plus les publisher confirms, pour que le message soit réellement en sécurité.

Les quorum queues empêchent-elles la perte de messages ?

Elles éliminent le cas de la panne d'un nœud unique en répliquant via Raft sur une majorité de membres, ce que les files classiques ne font plus du tout depuis la suppression de la mise en miroir dans RabbitMQ 4.0. Elles ne corrigent ni l'absence de publisher confirms ni un consommateur qui n'acquitte pas.

Que sont les messages non acquittés (unacked) dans RabbitMQ ?

Des messages livrés à un consommateur mais pas encore acquittés. Le broker les conserve pour pouvoir les relivrer si le consommateur tombe. Un nombre de messages non acquittés qui augmente alors que le nombre de messages prêts reste stable signifie que les consommateurs reçoivent du travail sans le terminer.

RabbitMQ prend-il en charge la livraison exactly-once ?

Non. Le guide de fiabilité de RabbitMQ indique clairement que les acquittements garantissent une livraison at-least-once, et que des doublons sont possibles parce qu'une confirmation peut se perdre avant d'atteindre le producteur. Concevez des consommateurs idempotents au lieu d'attendre de l'exactly-once.

Le dead-lettering peut-il perdre des messages ?

Oui. Par défaut, le dead-lettering est at-most-once : le message est retiré de la file source et republié sans publisher confirms, il peut donc être perdu si la cible est indisponible. Les quorum queues peuvent régler dead-letter-strategy sur at-least-once, ce qui exige overflow réglé sur reject-publish et un dead-letter exchange configuré.

Sources

Scott Sternloff

Auteur

Scott SternloffArchitecte d’entreprise senior

Architecte d’entreprise senior chez AceMQ. Il signe ici les contenus techniques : architecture RabbitMQ, Kafka et Redis, clustering et migrations.

Parler à un ingénieur

Besoin d’un coup de main sur RabbitMQ ?

Des ingénieurs seniors qui l’exploitent en production. Demandez un devis ou une consultation gratuite, sans argumentaire commercial.

Guides, comparatifs et études

Approfondir : RabbitMQ

Consultation gratuite

Un regard expert sur votre cluster RabbitMQ

Que vous deviez résoudre un incident de production, planifier une migration ou obtenir un second avis sur votre architecture, notre équipe est prête. Pas d’argumentaire commercial, seulement des réponses.

Nous écrire