BlogRabbitMQ

consumer_timeout RabbitMQ : son rôle et pourquoi les consommateurs disparaissent

Scott Sternloff

Par Scott Sternloff, Architecte d’entreprise senior

LinkedIn · Mis à jour le · Lecture : 7 min

consumer_timeout RabbitMQ : son rôle et pourquoi les consommateurs disparaissent
Sur cette page

consumer_timeout est le délai d'acquittement des livraisons de RabbitMQ. Si un consommateur conserve une livraison sans l'acquitter au-delà de ce délai, RabbitMQ ferme le canal de ce consommateur avec une exception de canal PRECONDITION_FAILED, et les messages non acquittés retournent dans la file d'attente pour être relivrés. La valeur par défaut est de 30 minutes. À partir de RabbitMQ 4.3, il ne s'applique plus qu'aux quorum queues.

Il ne concerne que les consommateurs en mode d'acquittement manuel, le réglage habituel des clients AMQP 0-9-1 lorsque les messages ne doivent pas être perdus : le broker remet une livraison et attend que le consommateur acquitte les messages qu'il a fini de traiter. Ce délai existe pour repérer les consommateurs qui ont pris un message puis se sont bloqués, afin que le travail soit remis en file au lieu d'être retenu indéfiniment. Il intercepte aussi des consommateurs parfaitement sains dont les traitements durent tout simplement plus de 30 minutes, et c'est là que commence l'essentiel de la confusion : l'application tourne, la connexion est ouverte, et le nombre de consommateurs affiché dans l'interface de gestion est discrètement tombé à zéro.

À quoi ressemble l'erreur de consumer timeout

Le broker journalise la fermeture du canal avec le consumer tag, le canal, la file d'attente et le delivery tag. Le message cité dans la documentation de RabbitMQ ressemble à ceci :

Consumer 'consumer-tag-998754663370' on channel 1 and queue 'qq.1' in vhost '/' has timed out
waiting for a consumer acknowledgement of a delivery with delivery tag = 10. Timeout used: 180000 ms.

Côté client, cela se manifeste par une exception de canal PRECONDITION_FAILED. Comme c'est le canal qui est fermé et non la connexion, la bibliothèque cliente reste souvent connectée et ne journalise rien d'évident, sauf si la fermeture du canal est gérée. La file affiche à nouveau ses messages comme prêts, ils sont relivrés avec le flag redelivered positionné, et le traitement lent peut s'exécuter deux fois.

Trois raisons pour lesquelles un consommateur RabbitMQ cesse de consommer

Le délai d'acquittement est l'une des trois façons dont un consommateur cesse de consommer sans que l'application le lui ait demandé. Les trois se ressemblent dans l'interface de gestion et appellent des correctifs différents :

  • Le délai d'acquittement a fermé le canal. La ligne de log ci-dessus apparaît, la connexion reste active et le consommateur a disparu. Le traitement a pris trop de temps, ou le consommateur s'est bloqué.
  • Le broker a annulé le consommateur. Lorsqu'une file d'attente est supprimée, ou que le nœud qui l'héberge tombe en panne, RabbitMQ envoie au client un basic.cancel asynchrone. Les clients annoncent la capacité consumer_cancel_notify, ce que font par défaut les clients officiels de RabbitMQ, et la bibliothèque cliente la remonte via un callback comme handleCancel dans le client Java. Si l'application ignore ce callback, elle conserve un canal sans aucun consommateur.
  • La connexion est morte. Un load balancer, un pare-feu ou une passerelle NAT a abandonné une connexion TCP inactive, ou le processus client s'est figé. Les heartbeats détectent ce cas : la valeur par défaut suggérée est de 60 secondes, et après deux heartbeats manqués, le pair est considéré comme injoignable. Les keepalives TCP peuvent remplir le même rôle au niveau du système d'exploitation.

L'ordre de vérification est le suivant : d'abord le log du broker, puis les callbacks de canal et d'annulation du client, puis le réseau. Le log du broker vous indique en quelques secondes lequel des trois cas s'est produit.

Configuration de consumer_timeout : globale, par file ou désactivée

Définissez la valeur du délai globalement dans le fichier de configuration de RabbitMQ, rabbitmq.conf, en millisecondes :

# one hour
consumer_timeout = 3600000

Par file d'attente, à partir de RabbitMQ 3.12, avec une policy ou un argument de file. La policy est le meilleur outil, car elle peut être modifiée sans redéployer l'application :

rabbitmqctl set_policy queue_consumer_timeout "with_delivery_timeout\.*" '{"consumer-timeout":3600000}' --apply-to quorum_queues

L'argument de file est x-consumer-timeout, défini à la déclaration, lui aussi en millisecondes.

RabbitMQ évalue le délai une fois par minute : les valeurs inférieures à une minute ne sont donc pas prises en charge, et celles inférieures à cinq minutes sont déconseillées. Il peut être désactivé dans advanced.config en réglant consumer_timeout sur undefined, mais la documentation recommande une valeur élevée, de quelques heures, plutôt que la désactivation.

Le changement de RabbitMQ 4.3 : quorum queues uniquement

À partir de RabbitMQ 4.3, les délais d'acquittement des livraisons ne sont pris en charge que par les quorum queues. Il en découle deux conséquences :

  • Les consommateurs de classic queues perdent cette protection. Un consommateur qui prend un message dans une classic queue et se bloque le conservera jusqu'à la fermeture du canal ou de la connexion. Si vous comptiez sur ce délai pour récupérer les consommateurs de classic queues bloqués, il vous faut désormais des timeouts côté client ou une supervision dédiée.
  • Passer aux quorum queues peut l'activer. Une charge qui tournait sans souci sur des classic queues avec des traitements d'une heure peut se mettre à subir des fermetures de canal PRECONDITION_FAILED après une migration vers les quorum queues. Définissez un consumer-timeout par file pour ces files dans le cadre de la migration, et non après le premier incident.

Les différences plus larges entre types de files sont détaillées dans la migration des classic queues vers les quorum queues.

Détecter les consommateurs bloqués avant qu'ils n'atteignent le délai

Un consommateur sur le point d'atteindre le délai semble sain vu de l'extérieur : connecté, abonné, avec des messages en cours de traitement. Trois vérifications permettent de le repérer tôt.

Des messages non acquittés qui ne bougent plus. Comparez, par file d'attente, les messages prêts, les messages non acquittés et le nombre de consommateurs :

rabbitmqctl list_queues -p / name messages_ready messages_unacknowledged consumers consumer_utilisation

Une file dont messages_unacknowledged reste stable pendant que messages_ready augmente a des consommateurs qui retiennent des livraisons qu'ils ne terminent pas. Un consumer_utilisation nettement inférieur à 1,0 sur une file avec un backlog dit la même chose sous un autre angle : la file a des messages mais ne peut pas les livrer, car les consommateurs ont atteint leur limite de prefetch.

Quels consommateurs les retiennent. rabbitmqctl list_consumers liste chaque abonnement avec son canal, son consumer tag, le fait que des acquittements soient attendus ou non, et sa limite de prefetch. Un consommateur avec un prefetch élevé sur une file lente est le premier suspect.

Le nombre de consommateurs dans le temps. Dans Prometheus, avec les métriques par objet activées pour que les valeurs soient remontées file par file plutôt qu'agrégées, déclenchez une alerte lorsque rabbitmq_queue_consumers tombe à zéro sur des files qui doivent toujours être consommées, et lorsque rabbitmq_queue_messages_unacked augmente sans hausse correspondante des taux de livraison et d'acquittement. Ces deux alertes détectent le délai d'acquittement, une annulation initiée par le broker et une connexion morte, quel que soit le premier à survenir.

Comment éviter que les consommateurs atteignent le délai

Relever le délai n'est le bon correctif que si le traitement prend réellement autant de temps. Le reste relève du comportement des clients :

  • Dimensionnez le délai file par file. Définissez consumer-timeout sur les files qui portent des traitements longs, avec une marge au-dessus du plus long temps de traitement légitime, et laissez la valeur par défaut globale inchangée.
  • Gardez un prefetch bas pour les traitements lents. Chaque message préchargé est déjà une livraison que le délai décompte. Avec un prefetch de 50 et des traitements d'une minute chacun, la 31e livraison a été retenue plus de 30 minutes avant même que le consommateur ne la commence, et le canal est fermé au délai par défaut. Voir le prefetch count de RabbitMQ.
  • Acquittez sur le canal qui a reçu la livraison, et dans tous les chemins de code, y compris celui des exceptions. Un ack manquant dans une branche d'erreur est la cause la plus fréquente d'un consommateur qui retient des livraisons jusqu'à atteindre le délai.
  • Gérez la fermeture des canaux et les notifications d'annulation. Sur une fermeture de canal ou un basic.cancel, ouvrez un nouveau canal et réabonnez-vous. La reprise automatique des connexions dans les bibliothèques clientes reconnecte les connexions perdues ; elle ne couvre pas toujours un canal isolé fermé ni une annulation initiée par le broker.
  • Rendez le traitement idempotent. Une livraison ayant dépassé le délai est remise en file et relivrée : un traitement réalisé à 90 % s'exécute donc à nouveau. Les messages qui ne pourront jamais se terminer à temps ont leur place dans une dead letter queue plutôt que dans une boucle de relivraison ; voir les dead letter queues de RabbitMQ.
  • Alertez sur les messages non acquittés et le nombre de consommateurs par file, et pas seulement sur la profondeur des files. Un nombre de consommateurs nul sur une file qui devrait toujours en avoir est le signal le plus précoce des trois modes de défaillance.

Ces schémas reviennent régulièrement dans les tickets de support RabbitMQ que nous traitons : des consommateurs signalés comme disparus alors que l'application est en bonne santé, après une migration vers les quorum queues ou un changement des limites mémoire. Si vous avez besoin d'un regard extérieur sur un cluster qui présente ce comportement, le support RabbitMQ d'AceMQ le prend en charge, et le guide de dépannage RabbitMQ couvre la démarche de diagnostic plus large.

Sources

Questions fréquentes

Qu'est-ce que consumer_timeout dans RabbitMQ ?

C'est le délai d'acquittement des livraisons. Si un consommateur conserve une livraison sans l'acquitter au-delà de ce délai, RabbitMQ ferme le canal de ce consommateur avec une exception de canal PRECONDITION_FAILED, et les messages non acquittés retournent dans la file d'attente. La valeur par défaut est de 30 minutes.

Quel est le consumer timeout par défaut de RabbitMQ ?

30 minutes (1 800 000 ms). RabbitMQ vérifie une fois par minute s'il doit l'appliquer : les valeurs inférieures à une minute ne sont donc pas prises en charge, et celles inférieures à cinq minutes sont déconseillées.

Comment modifier le consumer timeout pour une seule file d'attente ?

À partir de RabbitMQ 3.12, définissez la clé consumer-timeout dans une policy, ou l'argument x-consumer-timeout lors de la déclaration de la file. Les deux s'expriment en millisecondes. Une valeur par file est plus sûre que de relever le consumer_timeout global pour toutes les files du cluster.

consumer_timeout s'applique-t-il aux classic queues dans RabbitMQ 4.3 ?

Non. À partir de RabbitMQ 4.3, les délais d'acquittement des livraisons ne sont pris en charge que par les quorum queues. Sur la 4.3, un consommateur de classic queue qui conserve indéfiniment une livraison n'est plus fermé par le broker.

Peut-on désactiver le consumer timeout de RabbitMQ ?

Oui, en réglant consumer_timeout sur undefined dans advanced.config, mais la documentation de RabbitMQ le déconseille. Une valeur élevée, quelques heures par exemple, conserve la protection sans tuer les traitements longs.

Pourquoi le nombre de consommateurs RabbitMQ tombe-t-il à zéro alors que l'application tourne ?

Généralement pour l'une de ces trois raisons : le délai d'acquittement des livraisons a fermé le canal du consommateur, le broker a annulé le consommateur parce que sa file a été supprimée ou est devenue indisponible, ou la connexion TCP est morte et a été abandonnée après des heartbeats manqués. Les clients qui ne rouvrent pas le canal et ne se réabonnent pas restent connectés mais ne consomment plus rien.

Scott Sternloff

Auteur

Scott SternloffArchitecte d’entreprise senior

Architecte d’entreprise senior chez AceMQ. Il signe ici les contenus techniques : architecture RabbitMQ, Kafka et Redis, clustering et migrations.

Consultation gratuite

Un regard expert sur votre cluster RabbitMQ

Que vous deviez résoudre un incident de production, planifier une migration ou obtenir un second avis sur votre architecture, notre équipe est prête. Pas d’argumentaire commercial, seulement des réponses.

Nous écrire