BlogRabbitMQ

Prefetch count RabbitMQ : pourquoi un prefetch bien configuré est critique pour les clusters temps réel à haut débit

Scott Sternloff

Par Scott Sternloff, Architecte d’entreprise senior

LinkedIn · Mis à jour le · Lecture : 16 min

Prefetch count RabbitMQ : pourquoi un prefetch bien configuré est critique pour les clusters temps réel à haut débit
Sur cette page

De tous les paramètres qui régissent les performances des consommateurs RabbitMQ, le prefetch count est celui qui a le plus d'effet, et aussi celui qui est le plus systématiquement mal configuré en production. Nous sommes intervenus sur d'innombrables missions RabbitMQ en entreprise où le débit plafonnait, où l'utilisation des consommateurs restait bloquée à 60 %, où la mémoire des pods consommateurs grimpait en flèche, ou encore où le cluster entrait en contrôle de flux sous des charges qu'il aurait dû absorber sans peine. Et dans une proportion non négligeable de ces cas, la cause racine remontait à un prefetch réglé sur zéro, laissé à sa valeur par défaut ou copié-collé depuis un tutoriel écrit pour une tout autre charge de travail.

Le prefetch est faussement simple. C'est un entier. Mais il régit l'arbitrage fondamental entre le débit d'un consommateur et la pression mémoire qu'il subit, entre la latence et le surcoût des acquittements, et entre un consommateur capable d'absorber des pics et un consommateur qui ne l'est pas. Pour les clusters RabbitMQ temps réel à haut débit (ceux qui servent des plateformes de trading, des pipelines d'ingestion IoT, des processeurs de paiement, et tout ce dont on compte les messages par seconde et dont les SLA se mesurent en millisecondes), bien régler le prefetch n'est pas facultatif. C'est ce qui sépare un cluster qui monte en charge d'un cluster qui n'y parvient pas.

Ce que fait réellement le prefetch count

Au niveau du protocole, le prefetch count est le paramètre basic.qos d'AMQP 0-9-1. Il dit au broker : « ne m'envoie pas plus de N messages non acquittés à la fois ». Lorsqu'un consommateur se connecte et s'abonne à une file d'attente, le broker commence à lui pousser des messages jusqu'à la limite de prefetch. À mesure que le consommateur acquitte des messages, le broker envoie de quoi les remplacer. Le tampon de messages en vol du consommateur ne dépasse donc jamais prefetch_count messages.

En pratique, il existe trois modes de prefetch :

  • Prefetch = 0 (illimité). Le broker pousse les messages aussi vite qu'il le peut. Le consommateur met en tampon tout ce que le broker lui envoie. Cela paraît rapide jusqu'au jour où ça ne l'est plus : la mémoire du consommateur explose, les acquittements prennent du retard et le système devient imprévisible sous charge.
  • Prefetch = 1. Le broker envoie un message, attend l'ack, puis envoie le suivant. C'est ce que montrent la plupart des tutoriels. C'est catastrophiquement lent pour les charges à haut débit, car chaque message paie le coût d'un aller-retour réseau complet.
  • Prefetch = N (valeur raisonnable). Le consommateur traite un lot de N messages en vol, le broker garde une longueur d'avance sur le consommateur grâce à un flux régulier de remplacements, et le débit est limité par la vitesse de traitement du consommateur plutôt que par le temps d'aller-retour réseau.

L'objectif est toujours le troisième mode. Toute la question est de savoir ce que doit valoir N, et la réponse dépend davantage de votre charge de travail que la plupart des équipes ne l'imaginent.

Avis d'expert : par où commencer pour les charges à haut débit

  • Prefetch = 1. Tue le débit. Vous ne saturerez jamais votre consommateur. Corrigez cela en premier, toujours.
  • Prefetch = 0 (illimité). Fonctionne très bien en environnement de test. Devient un incident de production la première fois que le consommateur ne suit plus le rythme des publishers.
  • Prefetch = 10 000. Quelqu'un a lu que « plus c'est élevé, meilleur est le débit » et l'a pris au pied de la lettre. Le consommateur met 10 000 messages en tampon, les acquittements prennent du retard, la mémoire grimpe, et sous charge le système entier devient imprévisible.

« Si vous avez un prefetch count à zéro, cela veut dire que vous êtes en illimité. Ça peut aussi convenir, mais comme vous avez un très gros débit, ce que je recommande, c'est simplement de mettre quelque chose comme 100, 200, dans ces eaux-là. »

— Felipe Gutierrez, ingénieur senior, AceMQ (lors d'une mission AceMQ consacrée au diagnostic d'échecs d'acquittement des consommateurs dans un déploiement RabbitMQ d'entreprise à fort volume)

C'est notre recommandation de départ habituelle pour les charges à haut débit, et elle repose sur une raison technique précise. Un prefetch de l'ordre de 100 à 200 donne au broker une profondeur de pipeline suffisante pour saturer le consommateur (qui n'attend jamais le message suivant) sans inonder sa mémoire de milliers de messages en vol qu'il n'a pas encore traités. C'est le juste milieu pour la plupart des charges temps réel : nous partons de là, puis nous ajustons à la hausse ou à la baisse en fonction de ce que disent réellement les métriques.

Les mauvaises réponses, par ordre de fréquence :

Pourquoi le prefetch compte autant à grande échelle

Il détermine l'utilisation de la capacité des consommateurs

RabbitMQ affiche dans l'interface de gestion une métrique « consumer capacity » qui indique le pourcentage du temps pendant lequel le consommateur traite activement des messages plutôt que d'attendre qu'il en arrive d'autres. Un consommateur bien réglé fonctionne à 100 % de sa capacité : il travaille en permanence. Un consommateur dont le prefetch est trop bas plafonne à 40 %, 60 % ou 80 %, car il passe un temps mesurable à attendre son prochain message sur le réseau. Ce temps mort, c'est du débit que vous avez payé et que vous n'obtenez pas.

Felipe applique une règle opérationnelle précise : si la consumer capacity passe sous les 100 %, le consommateur ne suit plus le flux de messages, et il faut prévenir le développeur. Soit le prefetch est mauvais, soit le consommateur traite trop lentement, soit il vous faut davantage d'instances de consommateurs. Dans tous les cas, la première chose à vérifier est le prefetch.

Il gouverne le comportement du contrôle de flux

RabbitMQ dispose d'un mécanisme de contrôle de flux qui freine les publishers lorsque les consommateurs ne suivent pas. C'est une soupape de sécurité, qui empêche le broker d'accumuler un retard sans limite, mais c'est aussi le signe que quelque chose est mal aligné en amont. Lorsque le prefetch est bien réglé, les consommateurs vident la file d'attente au débit maximal et le contrôle de flux s'enclenche rarement. Lorsqu'il est trop bas, la file d'attente se remplit sous charge, le broker passe en contrôle de flux, les publishers sont bloqués et les caractéristiques de latence de tout le système changent.

À haut débit, la distance entre « tout va bien » et « les producteurs sont bloqués » peut se résumer à une seule valeur de prefetch mal choisie.

Il interagit avec le fonctionnement Raft des quorum queues

Avec les quorum queues, qu'utilisent la plupart des déploiements RabbitMQ d'entreprise en 2026, les interactions du prefetch ont des conséquences encore plus fortes. Si vous n'avez pas encore achevé votre migration vers les quorum queues, c'est le moment. Les quorum queues reposent sur le consensus Raft : chaque acquittement est une écriture dans le log Raft sur une majorité de nœuds. Un prefetch de 1 sur une quorum queue impose un aller-retour Raft pour chaque message, ce qui anéantit le débit. Un prefetch de 100 ou 200 permet au broker de regrouper les validations d'acquittements dans le log Raft, ce qui est considérablement plus efficace.

Nous avons vu des charges de travail doubler, voire tripler leur débit soutenu après une passe de réglage du prefetch sur des quorum queues. Le calcul n'a rien de subtil : moins de validations Raft par message, c'est plus de messages par seconde.

Prefetch global ou individuel : un point historique toujours d'actualité

Dans RabbitMQ 3.x, les bibliothèques clientes pouvaient définir deux modes de prefetch distincts : global et individuel. Le prefetch global s'appliquait à l'ensemble des consommateurs d'un canal : avec un prefetch global de 1 000 et 5 consommateurs sur ce canal, chaque consommateur disposait en pratique de 200. Le prefetch individuel s'appliquait par consommateur : un prefetch de 1 000 signifiait que chaque consommateur pouvait avoir 1 000 messages en vol.

Dans RabbitMQ 4.x, la sémantique du prefetch a été clarifiée et simplifiée, mais l'arbitrage sous-jacent demeure. Si votre architecture lance plusieurs consommateurs sur un même canal, vous devez savoir si votre bibliothèque cliente définit le prefetch par consommateur ou par canal, car le nombre effectif de messages en vol est fondamentalement différent.

La recommandation pratique : dans les systèmes de production à haut débit, privilégiez une sémantique de prefetch par consommateur et un consommateur par canal. Vous obtenez ainsi un comportement de mémoire et de débit prévisible, par consommateur, qui évolue linéairement lorsque vous ajoutez des instances. Cela simplifie aussi considérablement le diagnostic des problèmes de capacité, car l'enveloppe de performances de chaque consommateur est indépendante.

Comment régler concrètement le prefetch pour votre charge de travail

Il n'existe pas de valeur de prefetch universellement correcte. Il existe en revanche une méthode qui vous mènera à la bonne valeur pour votre charge de travail plus vite qu'en tâtonnant.

Étape 1 : commencer à 100

Pour toute charge RabbitMQ à haut débit que vous n'avez pas encore mesurée, commencez avec un prefetch de 100. Ce n'est presque jamais une erreur catastrophique. C'est assez élevé pour alimenter en continu le chemin broker-consommateur, assez bas pour que la pression mémoire sur le consommateur reste bornée, et cela vous donne une base mesurable à partir de laquelle ajuster.

Étape 2 : mesurer la capacité des consommateurs sous une charge représentative

  • Si la consumer capacity est inférieure à 100 %, le prefetch est peut-être trop bas : le consommateur attend des messages.
  • Si la mémoire du consommateur augmente et que les acquittements prennent du retard, le prefetch est peut-être trop élevé : le consommateur met en tampon plus qu'il ne peut traiter.
  • Si la capacité est à 100 % et que la mémoire est stable, le prefetch est correct. N'y touchez plus.

Faites passer une charge représentative dans la file d'attente et observez la métrique consumer capacity dans l'interface de gestion de RabbitMQ. Surveillez également l'utilisation mémoire des consommateurs. Pour une visibilité à l'échelle du cluster, consultez notre guide sur la supervision de RabbitMQ sur Kubernetes. Vous cherchez à identifier trois situations :

Étape 3 : ajuster par paliers significatifs

Si vous devez augmenter, essayez 200, puis 500. Ne passez pas de 100 à 10 000 : la relation entre prefetch et débit n'est pas linéaire. Chaque doublement devrait d'abord apporter un gain de débit mesurable, puis des rendements décroissants, et enfin des rendements négatifs lorsque le consommateur commence à peiner avec son propre tampon.

Étape 4 : tenir compte de la taille des messages

Un prefetch de 200 avec des messages de 1 Ko représente 200 Ko de mémoire en vol par consommateur. Un prefetch de 200 avec des messages de 1 Mo représente 200 Mo de mémoire en vol par consommateur. Si vos messages sont volumineux, ce qui est souvent le cas dans les pipelines temps réel, le prefetch doit être plus bas que pour des petits messages. Calculez votre mémoire maximale en vol selon la formule prefetch_count × p99_message_size et dimensionnez la mémoire des consommateurs en conséquence. N'oubliez pas ce calcul dans les environnements où la taille des messages est hétérogène.

Étape 5 : tester aux limites de défaillance

La bonne valeur de prefetch est celle qui se comporte bien sous une charge stable ET pendant les scénarios de reprise. Simulez l'arrêt d'un consommateur alors que la file d'attente est remplie. Lorsque le consommateur de remplacement démarre, vide-t-il proprement le retard au rythme attendu ? Ou sa configuration de prefetch l'affame-t-elle ou le submerge-t-elle ? Des valeurs de prefetch qui semblent correctes en régime stable peuvent mal se comporter lors d'un basculement, c'est-à-dire précisément au moment où vous avez besoin qu'elles se comportent correctement.

Le piège de la taille des messages : pourquoi le prefetch seul ne suffit pas

L'un des pièges opérationnels les plus fréquents que nous observons dans les déploiements RabbitMQ à haut débit consiste à traiter le prefetch comme le seul levier, alors que le vrai problème est la taille des messages. RabbitMQ est un broker de messages, pas une base de données, et ce n'est pas non plus un système de transfert de fichiers.

Nous avons vu des déploiements RabbitMQ en production où l'exploitant se plaignait d'un débit « mystérieusement » plafonné à une fraction du rythme attendu, pour découvrir à l'analyse que l'application envoyait comme charge utile des PDF de plusieurs mégaoctets, des extraits vidéo ou des instantanés de bases de données sérialisés. Aucun réglage du prefetch n'y remédie. Le broker fait ce qu'on lui demande : simplement, on lui demande de faire quelque chose qu'il ne devrait pas faire.

La règle d'architecture est simple : gardez des messages RabbitMQ de petite taille. Une revue d'architecture RabbitMQ peut aider à identifier les endroits où la taille des charges utiles pénalise votre débit. Si vous devez faire transiter une charge utile volumineuse dans le système, écrivez-la dans un stockage objet et envoyez une référence via RabbitMQ. Des messages de 4 Ko traversent un cluster des ordres de grandeur plus vite que des messages de 4 Mo, même avec des réglages de prefetch identiques, car :

  • Des messages plus petits consomment moins de bande passante réseau par message.
  • Des messages plus petits consomment moins de mémoire, dans les tampons du broker comme dans ceux des consommateurs.
  • Des messages plus petits sont persistés plus vite sur disque dans les quorum queues.
  • Des messages plus petits sont répliqués plus vite vers les followers Raft.

Ce n'est pas, à proprement parler, un problème de prefetch. Mais toute discussion sur le réglage du prefetch pour des systèmes temps réel à haut débit doit inclure l'audit de la taille des messages, car régler le prefetch sur un pipeline de messages de 4 Mo revient à optimiser la mauvaise couche.

Quand revoir le prefetch

Le prefetch n'est pas un paramètre que l'on règle une fois pour toutes. Revoyez votre configuration de prefetch lorsque :

  • Les exigences de débit changent. Une croissance d'un facteur 10 du volume de messages signifie souvent qu'un prefetch adapté à l'ancienne échelle est désormais inadapté.
  • La répartition des tailles de messages évolue. De nouvelles fonctionnalités applicatives qui envoient des messages plus gros modifient le calcul de la mémoire.
  • Vous migrez vers les quorum queues. Le surcoût des validations Raft modifie la valeur optimale du prefetch, généralement à la hausse.
  • Vous modifiez l'architecture des consommateurs. Passer de N consommateurs sur un canal à N consommateurs ayant chacun leur propre canal change entièrement le calcul du prefetch.
  • Vous constatez une consumer capacity inférieure à 100 % sous charge. C'est le signal le plus clair qu'un élément de votre chaîne prefetch + consommateur + broker est mal aligné.
  • Vous voyez le contrôle de flux s'enclencher sous des charges qui ne devraient pas le déclencher. Le contrôle de flux, c'est le broker qui vous dit que les consommateurs ne suivent pas. Le prefetch est l'un des premiers endroits à examiner.

À retenir

Le prefetch est le paramètre de réglage côté consommateur qui a le plus d'effet de levier dans RabbitMQ. Mal réglé à haut débit, il se manifeste par des plafonds de capacité mystérieux, un comportement mémoire imprévisible, des épisodes de contrôle de flux sous des charges qui ne devraient pas en provoquer, et des tickets de support qui évoquent un « RabbitMQ qui semble lent » sans désigner de cause précise.

Bien réglé, il ne se remarque pas, et c'est exactement ce que vous voulez : des consommateurs à 100 % de leur capacité, une mémoire stable, une latence bornée et un débit qui évolue de façon prévisible à mesure que vous ajoutez des instances de consommateurs.

Si vous mettez en place aujourd'hui une nouvelle charge RabbitMQ temps réel et avez besoin d'un point de départ sans avoir le temps d'un réglage complet : prefetch = 100, par consommateur, un consommateur par canal. Mesurez la consumer capacity, ajustez à partir de là, et auditez la taille de vos messages avant de toucher à tout autre paramètre. Cette seule recommandation, appliquée de façon cohérente, évite une grande partie des problèmes de performances que l'on nous appelle à diagnostiquer.

Pour les charges qui repoussent les limites (des centaines de milliers de messages par seconde, des SLA inférieurs à 10 ms, une durabilité de niveau financier), le réglage devient plus subtil, et les interactions avec les quorum queues, Raft et l'architecture des consommateurs demandent davantage d'attention. Mais le point de départ est le même, et la méthode aussi : commencer à 100, mesurer, ajuster, et garder des messages de petite taille.

Vous réglez un cluster RabbitMQ à haut débit et vous butez sur un plafond ?

L'équipe d'ingénierie d'AceMQ a réglé des clusters RabbitMQ poussés à l'extrême : plateformes de trading, systèmes de paiement, pipelines de santé à l'échelle mondiale et environnements d'analytique temps réel traitant des centaines de milliers de messages par seconde. Le prefetch n'est qu'une pièce du puzzle. Si votre cluster plafonne en deçà de ce qu'il devrait atteindre, nous pouvons localiser le goulot d'étranglement (broker, consommateur, type de file d'attente, réseau, disque) et vous ramener à une montée en charge linéaire.

Si vous construisez une nouvelle charge à haut débit et voulez réussir l'architecture et le réglage dès le départ, ou si vous avez un cluster existant qui ne donne pas les performances attendues, parlez à notre équipe d'une évaluation des performances. Nous proposons du conseil RabbitMQ, du support commercial RabbitMQ et du dépannage RabbitMQ approfondi pour des clients grands comptes dans le monde entier : c'est notre seul métier.

Prefetch count : les réponses courtes

Le prefetch count est le nombre maximal de messages non acquittés que RabbitMQ pousse vers un consommateur (ou un canal) avant de s'arrêter pour attendre des acks. Tout le reste découle de cette seule limite.

Par où commencer. Pour la plupart des charges de travail, réglez le prefetch entre 10 et 30 et mesurez. Utilisez 1 lorsque vous avez besoin d'un ordre strict entre consommateurs ou lorsque chaque message prend plusieurs secondes à traiter, car toute valeur supérieure immobilise du travail sur un consommateur qui ne peut pas s'en occuper. Montez plus haut, entre 100 et 300, uniquement lorsque les consommateurs sont rapides et idempotents, et qu'un test de charge a confirmé que l'hôte du consommateur dispose d'une marge mémoire suffisante. Plus grand n'est pas plus rapide une fois le consommateur saturé : cela ne fait que déplacer le retard du broker vers le client.

Pourquoi 0 pose le plus de problèmes. Un prefetch de 0 signifie illimité. Le broker pousse tous les messages prêts vers le premier consommateur disposant d'un canal ouvert : un consommateur accapare ainsi la file d'attente pendant que les autres restent inactifs. Ce même réglage est à l'origine de la plupart des problèmes de pression mémoire côté consommateur pour lesquels on nous appelle : une file d'attente se déverse dans un seul processus qui ne peut pas acquitter assez vite, et ce processus se met à swapper ou est tué. Si une file d'attente semble vide mais que le débit est mauvais et qu'un consommateur est bloqué à 100 % de CPU, vérifiez d'abord s'il n'a pas un prefetch de 0.

Le prefetch n'existe que pour les consommateurs en ack manuel. En auto-ack, le broker considère un message comme acquitté dès son envoi : rien n'est jamais en attente, et rien ne vient donc s'imputer sur la limite. Définir un prefetch sur un consommateur en auto-ack n'a aucun effet.

Les quorum queues et les streams ne sont pas des files classiques. Les quorum queues respectent le prefetch, mais elles suivent aussi un compteur de livraisons par message et appliquent une delivery-limit (20 par défaut en 4.x). Un consommateur avec un prefetch élevé qui plante renvoie tous ses messages non acquittés avec leur compteur de livraisons incrémenté : quelques redémarrages peuvent alors envoyer en dead-letter des messages qui n'avaient rien de toxique. Les streams sont encore différents. Avec le protocole stream, le contrôle de flux repose sur des crédits et non sur le prefetch. Via AMQP 0-9-1, un consommateur de stream doit définir un prefetch non nul et utiliser des acks manuels, et l'ack ne supprime rien : il restitue du crédit pour que le broker envoie la suite. Consultez files classiques ou quorum queues pour une comparaison plus complète.

Trois raisons pour lesquelles le prefetch « ne fonctionne pas » lors d'un test de charge. Premièrement, le consommateur est en auto-ack et le réglage est ignoré. Deuxièmement, le flag global : dans RabbitMQ, global=false limite chaque consommateur et global=true limite le canal entier, et certaines bibliothèques clientes choisissent une valeur par défaut différente ou interprètent ce flag autrement. Troisièmement, le framework client applique sa propre valeur par défaut (souvent 1, parfois 250) après l'exécution de votre code, ou sur un autre canal que celui que vous avez configuré. Vérifiez la valeur effective avec rabbitmqctl list_consumers plutôt que de vous fier au code.

Le prefetch est le cinquième des dix modèles du guide de fiabilité RabbitMQ et l'étape sept du guide de clustering et de dimensionnement, qui traite le versant cluster de cette même question de débit.

FAQ

Quel prefetch count choisir pour RabbitMQ ?

Commencez entre 10 et 30 pour des consommateurs classiques, puis ajustez à partir de là avec un test de charge. Utilisez 1 pour les tâches longues ou lorsque l'ordre entre consommateurs compte. Réservez les valeurs de 100 à 300 aux consommateurs rapides et idempotents pour lesquels vous avez mesuré que l'hôte client dispose d'assez de mémoire pour autant de messages en vol. Ne laissez jamais 0 en production : cela signifie illimité, et c'est de loin la cause la plus fréquente d'un consommateur qui accapare une file d'attente pendant que les autres restent inactifs. La bonne valeur est la plus petite qui maintient vos consommateurs occupés.

Pourquoi mon prefetch count RabbitMQ ne fonctionne-t-il pas ?

Trois causes couvrent presque tous les cas que nous avons analysés. Le consommateur utilise l'auto-ack, et le prefetch est alors totalement ignoré. Le flag global est positionné à l'inverse de ce que vous pensez, si bien que la limite s'applique par canal plutôt que par consommateur, ou inversement. Ou bien le framework client applique sa propre valeur par défaut après l'exécution de votre code, ou sur un autre canal que celui que vous avez configuré. Vérifiez la valeur effective avec rabbitmqctl list_consumers. Si le comportement reste anormal, notre article sur les 10 problèmes RabbitMQ les plus fréquents couvre les modes de défaillance associés.

Le prefetch count s'applique-t-il aux quorum queues et aux streams ?

Les quorum queues respectent le prefetch exactement comme les files classiques, avec un ajout : chaque nouvelle livraison incrémente un compteur de livraisons par message, et une fois la delivery-limit dépassée, le message est envoyé en dead-letter ou supprimé. Un consommateur qui plante avec un prefetch élevé pousse d'un coup de nombreux messages vers cette limite : gardez donc un prefetch modéré sur les quorum queues. Les streams via AMQP 0-9-1 exigent un prefetch non nul et des acks manuels, mais l'ack ne fait que restituer du crédit, il ne supprime pas le message. Avec le protocole stream natif, le contrôle de flux repose sur des crédits, et le prefetch n'est pas du tout le modèle utilisé.

Faut-il définir le prefetch par canal ou par consommateur ?

Par consommateur, dans presque tous les cas. Dans RabbitMQ, global=false (la valeur par défaut dans la plupart des clients) applique la limite à chaque consommateur indépendamment, ce qui correspond à ce que l'on attend et rend le réglage prévisible. global=true applique une limite unique partagée par tous les consommateurs du canal, ce qui n'est utile que lorsque plusieurs consommateurs d'un même canal doivent se partager un budget fixe de messages en vol. Si vous définissez les deux, le broker applique les deux. Lorsque nous reprenons un parc RabbitMQ 3.8 à 4.x dans le cadre d'un support managé, la vérification de ce flag fait partie des toutes premières choses que nous faisons, car elle explique un nombre étonnant de plaintes sur le débit.

Scott Sternloff

Auteur

Scott SternloffArchitecte d’entreprise senior

Architecte d’entreprise senior chez AceMQ. Il signe ici les contenus techniques : architecture RabbitMQ, Kafka et Redis, clustering et migrations.

Consultation gratuite

Un regard expert sur votre cluster RabbitMQ

Que vous deviez résoudre un incident de production, planifier une migration ou obtenir un second avis sur votre architecture, notre équipe est prête. Pas d’argumentaire commercial, seulement des réponses.

Nous écrire