Sur cette page
Ce qui doit déclencher une alerte, et ce qui doit rester sur un tableau de bord
Ce qui doit déclencher une alerte, et ce qui doit rester sur un tableau de bord
Alertez sur les huit signaux ci-dessous. Tout le reste est du contexte que l'on consulte une fois qu'une alerte s'est déjà déclenchée.
| Indicateur | Pourquoi il est précurseur | Alerter sur |
|---|---|---|
| Tendance de la profondeur des files | La profondeur absolue ne veut rien dire ; une croissance soutenue, si | La croissance sur une fenêtre glissante, pas un nombre fixe |
| Messages non acquittés | Ils augmentent avant qu'une file ne se bloque visiblement | Une croissance soutenue alors que des consommateurs sont connectés |
| Nombre de consommateurs | Zéro consommateur sur une file active ne fait aucun bruit | Moins de consommateurs que prévu, file par file |
| Seuil mémoire (watermark) | Les producteurs sont bloqués dès qu'il est franchi | L'approche du seuil, pas son franchissement |
| Espace disque libre | Même blocage, rétablissement plus lent | L'approche du seuil |
| Nombre de connexions et de canaux | Le renouvellement incessant épuise discrètement les descripteurs | Une tendance à la hausse, plus un plafond absolu |
| Santé des membres du quorum | Une file qui a perdu sa majorité cesse d'accepter les écritures | Tout membre indisponible |
| État des nœuds et des partitions | Les partitions sont invisibles depuis l'application | Immédiatement, toujours |
Collecter avec le plugin Prometheus, pas en interrogeant l'API de management
Le plugin intégré rabbitmq_prometheus expose les métriques du cluster sur le port 15692, dans un format conçu pour le scraping. Les équipes qui interrogent plutôt l'API HTTP de management finissent par ajouter une charge mesurable au broker qu'elles cherchent à observer, en particulier sur les clusters comptant beaucoup de files, où l'API agrège les données à chaque requête.
Activez le plugin, scrapez-le à un intervalle normal et conservez un historique suffisant pour observer une tendance d'une semaine sur l'autre. La plupart des alertes utiles comparent la situation actuelle à celle d'il y a une heure : une pile de supervision qui ne dispose que des valeurs courantes ne peut pas les exprimer.
Alerter sur la vitesse de croissance d'une file, pas sur sa profondeur
Une file contenant cinquante mille messages est normale pour une charge de travail par lots et constitue une urgence pour une charge en requête-réponse : une alerte sur la profondeur absolue sonne donc soit en permanence, soit jamais. Ce qui compte, c'est que le débit de publication dépasse le débit de consommation assez longtemps pour que l'arriéré ne se résorbe pas de lui-même.
Alertez sur une croissance soutenue sur une fenêtre glissante, file par file, avec une fenêtre adaptée au caractère plus ou moins irrégulier de la charge. Gardez la profondeur absolue sur le tableau de bord pour disposer de contexte pendant l'incident.
Surveiller les messages non acquittés, signe précoce de blocage
Un nombre de messages non acquittés qui grimpe alors que les consommateurs restent connectés est le signal d'alerte précoce le plus clair que donne RabbitMQ : les consommateurs prennent des messages sans finir de les traiter. Il apparaît bien avant que la file semble bloquée, et c'est la métrique qui distingue un consommateur lent d'un consommateur absent.
Alertez sur une croissance soutenue des messages non acquittés et associez-la au prefetch de chaque consommateur : un prefetch illimité permet à un seul consommateur de garder en vol un arriéré important et transforme son plantage en tempête de redélivraisons.
Alerter quand une file a moins de consommateurs que prévu
Une file d'attente sans aucun consommateur ne produit aucune erreur. Les producteurs continuent de publier sans échec, la profondeur augmente lentement, et rien n'apparaît tant que le backlog n'est pas important ou qu'un TTL ne commence pas à supprimer des messages. La cause habituelle : des déploiements qui ne parviennent pas à se reconnecter, et qui échouent en silence.
Consignez le nombre de consommateurs attendu pour chaque file d'attente et alertez dès qu'une file passe en dessous. C'est l'une des rares alertes RabbitMQ qui méritent un seuil absolu plutôt qu'une tendance.
Retour de nos missions. Des consommateurs signalés comme absents alors que l'application semble saine : le cas revient régulièrement dans les tickets de support RabbitMQ que nous traitons, notamment après une migration vers les quorum queues ou une modification des limites mémoire.
Détecter les alarmes mémoire et disque à l'approche, pas à l'arrivée
Lorsque RabbitMQ franchit son seuil mémoire (memory high watermark) ou son seuil d'espace disque libre, il bloque les producteurs dans tout le cluster. Au moment où l'alarme se déclenche, la panne a déjà commencé : une alerte sur l'alarme elle-même est donc une notification, pas un avertissement.
Alertez plutôt à l'approche, avec une marge qui laisse le temps d'agir, et traitez les approches répétées comme un problème de dimensionnement plutôt que d'exploitation. Sur une infrastructure virtualisée, surveillez en parallèle le CPU steal et la latence disque (await), car la contention produit les mêmes symptômes sans avoir la même cause.
Suivre la tendance des connexions et des canaux pour détecter les fuites côté client
Un nombre de connexions et de canaux qui augmente régulièrement révèle un défaut côté client, pas côté broker : une application qui ouvre une connexion par message, ou qui ne ferme pas ses canaux. Le symptôme ressemble à une fuite mémoire de RabbitMQ, mais la correction se trouve presque toujours dans l'application.
Suivez la tendance de ces deux compteurs ainsi que des descripteurs de fichiers et des processus Erlang, alertez sur la tendance et sur un plafond absolu inférieur aux limites configurées, et servez-vous des métadonnées de connexion pour identifier le client responsable avant que les descripteurs ne soient épuisés.
Superviser directement l'appartenance au quorum et l'état des nœuds
Une quorum queue qui a perdu sa majorité cesse d'accepter les écritures, par conception, et une partition réseau peut laisser le cluster dans un état qu'aucun nœud ne signale à lui seul comme dégradé. Aucune de ces deux situations n'est visible depuis l'application tant que les publications ne commencent pas à échouer.
Alertez sur tout membre du quorum indisponible, sur la perte d'un nœud et sur l'état des partitions, sans délai ni seuil. Ce sont les alertes RabbitMQ qui doivent toujours déclencher l'astreinte.
Sur Kubernetes, ajouter les signaux introduits par l'ordonnanceur
Exécuter RabbitMQ sur Kubernetes ajoute des modes de défaillance que les métriques du broker ne couvrent pas : éviction de pods, drain de nœud sans arrêt propre de RabbitMQ, latence de la classe de stockage et limites mémoire fixées en dessous de ce dont le nœud a besoin sous charge. Un cluster peut sembler sain d'après les métriques de RabbitMQ pendant que l'ordonnanceur le démonte en dessous.
Surveillez les redémarrages de pods, les événements d'éviction et la latence des volumes persistants en plus des métriques du broker, et assurez-vous qu'un drain de nœud déclenche un arrêt propre du broker plutôt qu'une éviction.
Décider qui lit l'alerte à trois heures du matin
La supervision produit une alerte ; encore faut-il que quelqu'un agisse. Les parcs qui en sont arrivés là et subissent encore de longs incidents ont généralement des alertes qui aboutissent dans un canal qui ne déclenche aucune astreinte, ou chez un ingénieur responsable de l'application plutôt que du broker.
Acheminez les huit signaux critiques vers ce qui réveille déjà votre équipe, laissez tout le reste sur un tableau de bord, et validez le circuit d'astreinte par une alerte de test plutôt que de le supposer fonctionnel. Faute d'astreinte RabbitMQ en interne, c'est précisément ce manque que comble un contrat de support.
Questions fréquentes
Que faut-il superviser sur RabbitMQ ?
La profondeur des files en tant que vitesse d'évolution, les messages non acquittés, le nombre de consommateurs par file, la marge mémoire et disque par rapport aux seuils, le nombre de connexions et de canaux ainsi que les descripteurs de fichiers, la disponibilité des membres du quorum, l'état des nœuds et des partitions et, sur Kubernetes, les signaux liés aux pods, aux évictions et à la latence des volumes. Collectez-les via le plugin rabbitmq_prometheus plutôt qu'en interrogeant l'API de management.
Quelles métriques RabbitMQ doivent vraiment déclencher l'astreinte ?
Un nœud tombé, une partition réseau, tout membre du quorum indisponible, la mémoire ou le disque qui approche du seuil, une croissance soutenue d'une file qui ne se résorbera pas, une croissance soutenue des messages non acquittés alors que des consommateurs sont connectés, et une file dont le nombre de consommateurs est inférieur à celui attendu. Tout le reste a sa place sur un tableau de bord et se consulte une fois qu'une alerte s'est déclenchée.
Faut-il alerter sur la profondeur des files RabbitMQ ?
Pas sur une valeur absolue. Une profondeur normale pour une charge de travail par lots est une urgence pour une charge en requête-réponse : un seuil fixe sonne donc en permanence ou jamais. Alertez sur une croissance soutenue sur une fenêtre glissante, file par file, et gardez la profondeur absolue sur le tableau de bord pour le contexte.
Pourquoi RabbitMQ bloque-t-il les producteurs sans aucune erreur côté application ?
Le cluster a franchi son seuil mémoire (memory high watermark) ou son seuil d'espace disque libre et applique le contrôle de flux, qui bloque les producteurs dans tout le cluster jusqu'à la levée de l'alarme. Alerter à l'approche de ces seuils plutôt que sur l'alarme elle-même, c'est ce qui transforme une notification de panne en avertissement.
Le plugin de management de RabbitMQ suffit-il pour superviser la production ?
Il convient pour l'inspection et le diagnostic ponctuel, mais interroger son API HTTP pour collecter les métriques ajoute de la charge au broker, de façon sensible sur les clusters comptant beaucoup de files. Utilisez le plugin rabbitmq_prometheus pour la collecte et réservez l'interface de management à l'examen d'une file précise pendant un incident.