Guide · RabbitMQ

Le guide de la supervision et des alertes RabbitMQ

La plupart des dispositifs de supervision RabbitMQ échouent dans l'un de ces deux sens : rien ne se déclenche avant qu'un client signale la panne, ou tout se déclenche et l'astreinte cesse de lire les alertes. La différence ne tient pas à l'outil. Elle tient au choix de métriques qui annoncent l'incident plutôt que de le confirmer, et à des seuils fixés sur la vitesse d'évolution plutôt que sur une valeur absolue. Ce guide détaille ce qu'il faut collecter, ce qui doit déclencher une alerte et ce qui doit rester sur un tableau de bord.

Tyler Eastridge

Par Tyler Eastridge, Directeur des opérations

LinkedIn · Mis à jour le · Lecture : 7 min · 9 sections

Sur cette page

Ce qui doit déclencher une alerte, et ce qui doit rester sur un tableau de bord

Ce qui doit déclencher une alerte, et ce qui doit rester sur un tableau de bord

Alertez sur les huit signaux ci-dessous. Tout le reste est du contexte que l'on consulte une fois qu'une alerte s'est déjà déclenchée.

IndicateurPourquoi il est précurseurAlerter sur
Tendance de la profondeur des filesLa profondeur absolue ne veut rien dire ; une croissance soutenue, siLa croissance sur une fenêtre glissante, pas un nombre fixe
Messages non acquittésIls augmentent avant qu'une file ne se bloque visiblementUne croissance soutenue alors que des consommateurs sont connectés
Nombre de consommateursZéro consommateur sur une file active ne fait aucun bruitMoins de consommateurs que prévu, file par file
Seuil mémoire (watermark)Les producteurs sont bloqués dès qu'il est franchiL'approche du seuil, pas son franchissement
Espace disque libreMême blocage, rétablissement plus lentL'approche du seuil
Nombre de connexions et de canauxLe renouvellement incessant épuise discrètement les descripteursUne tendance à la hausse, plus un plafond absolu
Santé des membres du quorumUne file qui a perdu sa majorité cesse d'accepter les écrituresTout membre indisponible
État des nœuds et des partitionsLes partitions sont invisibles depuis l'applicationImmédiatement, toujours

Collecter avec le plugin Prometheus, pas en interrogeant l'API de management

Le plugin intégré rabbitmq_prometheus expose les métriques du cluster sur le port 15692, dans un format conçu pour le scraping. Les équipes qui interrogent plutôt l'API HTTP de management finissent par ajouter une charge mesurable au broker qu'elles cherchent à observer, en particulier sur les clusters comptant beaucoup de files, où l'API agrège les données à chaque requête.

Activez le plugin, scrapez-le à un intervalle normal et conservez un historique suffisant pour observer une tendance d'une semaine sur l'autre. La plupart des alertes utiles comparent la situation actuelle à celle d'il y a une heure : une pile de supervision qui ne dispose que des valeurs courantes ne peut pas les exprimer.

Alerter sur la vitesse de croissance d'une file, pas sur sa profondeur

Une file contenant cinquante mille messages est normale pour une charge de travail par lots et constitue une urgence pour une charge en requête-réponse : une alerte sur la profondeur absolue sonne donc soit en permanence, soit jamais. Ce qui compte, c'est que le débit de publication dépasse le débit de consommation assez longtemps pour que l'arriéré ne se résorbe pas de lui-même.

Alertez sur une croissance soutenue sur une fenêtre glissante, file par file, avec une fenêtre adaptée au caractère plus ou moins irrégulier de la charge. Gardez la profondeur absolue sur le tableau de bord pour disposer de contexte pendant l'incident.

Surveiller les messages non acquittés, signe précoce de blocage

Un nombre de messages non acquittés qui grimpe alors que les consommateurs restent connectés est le signal d'alerte précoce le plus clair que donne RabbitMQ : les consommateurs prennent des messages sans finir de les traiter. Il apparaît bien avant que la file semble bloquée, et c'est la métrique qui distingue un consommateur lent d'un consommateur absent.

Alertez sur une croissance soutenue des messages non acquittés et associez-la au prefetch de chaque consommateur : un prefetch illimité permet à un seul consommateur de garder en vol un arriéré important et transforme son plantage en tempête de redélivraisons.

Alerter quand une file a moins de consommateurs que prévu

Une file d'attente sans aucun consommateur ne produit aucune erreur. Les producteurs continuent de publier sans échec, la profondeur augmente lentement, et rien n'apparaît tant que le backlog n'est pas important ou qu'un TTL ne commence pas à supprimer des messages. La cause habituelle : des déploiements qui ne parviennent pas à se reconnecter, et qui échouent en silence.

Consignez le nombre de consommateurs attendu pour chaque file d'attente et alertez dès qu'une file passe en dessous. C'est l'une des rares alertes RabbitMQ qui méritent un seuil absolu plutôt qu'une tendance.

Retour de nos missions. Des consommateurs signalés comme absents alors que l'application semble saine : le cas revient régulièrement dans les tickets de support RabbitMQ que nous traitons, notamment après une migration vers les quorum queues ou une modification des limites mémoire.

SLA d'urgence de 15 minutes. Ingénieurs seniors attitrés.

Nous contacter

Détecter les alarmes mémoire et disque à l'approche, pas à l'arrivée

Lorsque RabbitMQ franchit son seuil mémoire (memory high watermark) ou son seuil d'espace disque libre, il bloque les producteurs dans tout le cluster. Au moment où l'alarme se déclenche, la panne a déjà commencé : une alerte sur l'alarme elle-même est donc une notification, pas un avertissement.

Alertez plutôt à l'approche, avec une marge qui laisse le temps d'agir, et traitez les approches répétées comme un problème de dimensionnement plutôt que d'exploitation. Sur une infrastructure virtualisée, surveillez en parallèle le CPU steal et la latence disque (await), car la contention produit les mêmes symptômes sans avoir la même cause.

Suivre la tendance des connexions et des canaux pour détecter les fuites côté client

Un nombre de connexions et de canaux qui augmente régulièrement révèle un défaut côté client, pas côté broker : une application qui ouvre une connexion par message, ou qui ne ferme pas ses canaux. Le symptôme ressemble à une fuite mémoire de RabbitMQ, mais la correction se trouve presque toujours dans l'application.

Suivez la tendance de ces deux compteurs ainsi que des descripteurs de fichiers et des processus Erlang, alertez sur la tendance et sur un plafond absolu inférieur aux limites configurées, et servez-vous des métadonnées de connexion pour identifier le client responsable avant que les descripteurs ne soient épuisés.

Superviser directement l'appartenance au quorum et l'état des nœuds

Une quorum queue qui a perdu sa majorité cesse d'accepter les écritures, par conception, et une partition réseau peut laisser le cluster dans un état qu'aucun nœud ne signale à lui seul comme dégradé. Aucune de ces deux situations n'est visible depuis l'application tant que les publications ne commencent pas à échouer.

Alertez sur tout membre du quorum indisponible, sur la perte d'un nœud et sur l'état des partitions, sans délai ni seuil. Ce sont les alertes RabbitMQ qui doivent toujours déclencher l'astreinte.

Sur Kubernetes, ajouter les signaux introduits par l'ordonnanceur

Exécuter RabbitMQ sur Kubernetes ajoute des modes de défaillance que les métriques du broker ne couvrent pas : éviction de pods, drain de nœud sans arrêt propre de RabbitMQ, latence de la classe de stockage et limites mémoire fixées en dessous de ce dont le nœud a besoin sous charge. Un cluster peut sembler sain d'après les métriques de RabbitMQ pendant que l'ordonnanceur le démonte en dessous.

Surveillez les redémarrages de pods, les événements d'éviction et la latence des volumes persistants en plus des métriques du broker, et assurez-vous qu'un drain de nœud déclenche un arrêt propre du broker plutôt qu'une éviction.

Décider qui lit l'alerte à trois heures du matin

La supervision produit une alerte ; encore faut-il que quelqu'un agisse. Les parcs qui en sont arrivés là et subissent encore de longs incidents ont généralement des alertes qui aboutissent dans un canal qui ne déclenche aucune astreinte, ou chez un ingénieur responsable de l'application plutôt que du broker.

Acheminez les huit signaux critiques vers ce qui réveille déjà votre équipe, laissez tout le reste sur un tableau de bord, et validez le circuit d'astreinte par une alerte de test plutôt que de le supposer fonctionnel. Faute d'astreinte RabbitMQ en interne, c'est précisément ce manque que comble un contrat de support.

Questions fréquentes

Que faut-il superviser sur RabbitMQ ?

La profondeur des files en tant que vitesse d'évolution, les messages non acquittés, le nombre de consommateurs par file, la marge mémoire et disque par rapport aux seuils, le nombre de connexions et de canaux ainsi que les descripteurs de fichiers, la disponibilité des membres du quorum, l'état des nœuds et des partitions et, sur Kubernetes, les signaux liés aux pods, aux évictions et à la latence des volumes. Collectez-les via le plugin rabbitmq_prometheus plutôt qu'en interrogeant l'API de management.

Quelles métriques RabbitMQ doivent vraiment déclencher l'astreinte ?

Un nœud tombé, une partition réseau, tout membre du quorum indisponible, la mémoire ou le disque qui approche du seuil, une croissance soutenue d'une file qui ne se résorbera pas, une croissance soutenue des messages non acquittés alors que des consommateurs sont connectés, et une file dont le nombre de consommateurs est inférieur à celui attendu. Tout le reste a sa place sur un tableau de bord et se consulte une fois qu'une alerte s'est déclenchée.

Faut-il alerter sur la profondeur des files RabbitMQ ?

Pas sur une valeur absolue. Une profondeur normale pour une charge de travail par lots est une urgence pour une charge en requête-réponse : un seuil fixe sonne donc en permanence ou jamais. Alertez sur une croissance soutenue sur une fenêtre glissante, file par file, et gardez la profondeur absolue sur le tableau de bord pour le contexte.

Pourquoi RabbitMQ bloque-t-il les producteurs sans aucune erreur côté application ?

Le cluster a franchi son seuil mémoire (memory high watermark) ou son seuil d'espace disque libre et applique le contrôle de flux, qui bloque les producteurs dans tout le cluster jusqu'à la levée de l'alarme. Alerter à l'approche de ces seuils plutôt que sur l'alarme elle-même, c'est ce qui transforme une notification de panne en avertissement.

Le plugin de management de RabbitMQ suffit-il pour superviser la production ?

Il convient pour l'inspection et le diagnostic ponctuel, mais interroger son API HTTP pour collecter les métriques ajoute de la charge au broker, de façon sensible sur les clusters comptant beaucoup de files. Utilisez le plugin rabbitmq_prometheus pour la collecte et réservez l'interface de management à l'examen d'une file précise pendant un incident.

Consultation gratuite

Un regard expert sur votre cluster RabbitMQ

Que vous deviez résoudre un incident de production, planifier une migration ou obtenir un second avis sur votre architecture, notre équipe est prête. Pas d’argumentaire commercial, seulement des réponses.

Nous écrire