Sur cette page
Les dix sur une seule page
Les dix sur une seule page
Repérez le symptôme, appliquez le correctif de base, puis lisez le schéma pour le détail.
| Schéma | Symptôme principal | Correctif de base |
|---|---|---|
| 1. Split-brain / partitions réseau | L'interface affiche une partition ; les nœuds divergent ; pertes à la réconciliation | pause_minority et quorum queues sur un nombre impair de nœuds |
| 2. Analyse antivirus | Pics d'E/S et ralentissements sur les serveurs durcis | Exclure les répertoires de données de RabbitMQ de l'antivirus et de l'EDR |
| 3. Contention des ressources sur VM | Latence en dents de scie, blocages, CPU steal élevé | Réserver CPU et RAM ; SSD local ; hôtes séparés |
| 4. Mauvais type de file d'attente | Files classiques instables en cas de forte rotation ou d'arriéré | Standardiser sur les quorum queues ; confirmations et acquittements |
| 5. Messages non acquittés | Les unacked augmentent ; file bloquée alors que les consommateurs sont connectés | Définir le prefetch ; acquitter rapidement ; dead-letter avec delivery-limit |
| 6. Rotation des connexions / canaux | Les compteurs grimpent ; descripteurs de fichiers et processus épuisés | Connexions longue durée ; canaux en pool ; channel_max |
| 7. Arriéré / contrôle de flux | Producteurs ralentis ; timeouts en amont | Ajouter des consommateurs ; régler le watermark et les seuils disque |
| 8. Manque de visibilité | Incidents découverts uniquement quand les clients les signalent | Prometheus et Grafana ; alertes sur les tendances |
| 9. HA / mirroring mal configurés | Basculement incohérent ; retard de synchronisation ; perte de données | Abandonner le mirroring classique ; passer la HA aux quorum queues |
| 10. Réglage réseau / heartbeat | Fausses pannes de nœuds ; partitions intempestives dans le cloud | Régler heartbeat, tcp_listen_options, net_ticktime |
Split-brain et partitions réseau
Symptômes. L'interface de management signale une partition réseau, chaque nœud se croit faisant autorité et l'état des files d'attente diverge. À la réconciliation, vous constatez des pertes ou des doublons de messages, ou des nœuds qui refusent de rejoindre le cluster. Cause racine. Le lien de distribution Erlang tombe entre sites, zones de disponibilité ou régions ; les classic mirrored queues aggravent la situation, car chaque côté continue d'accepter des écritures.
Le correctif. Réglez cluster_partition_handling sur pause_minority en production, et jamais sur ignore. Cela vaut pour la 4.2 et les versions antérieures. À partir de RabbitMQ 4.3, ce n'est plus applicable : la 4.3.0 a supprimé Mnesia et, avec lui, les stratégies de gestion des partitions ; cluster_partition_handling est toujours accepté dans rabbitmq.conf mais n'a aucun effet, et le magasin de métadonnées, les quorum queues et les streams reposent tous sur Raft : seule la règle de majorité de Raft décide alors quel côté continue de servir. Supprimez la clé lors de la mise à niveau. Déployez un nombre impair de nœuds, trois ou cinq, répartis sur des domaines de défaillance indépendants, gardez le lien entre nœuds sur un réseau fiable à faible latence, et privilégiez les quorum queues, qui utilisent le consensus Raft et tolèrent la défaillance d'une minorité sans diverger.
Dégradation des performances due à l'analyse antivirus en temps réel
Symptômes. Des pics d'E/S inexpliqués, des ralentissements de nœuds et une latence disque élevée, le plus souvent sur des serveurs Windows ou des serveurs d'entreprise durcis, sans variation correspondante du trafic. Cause racine. Les agents antivirus ou EDR de protection des terminaux analysent en temps réel le répertoire de données de RabbitMQ : le stockage Mnesia, le message store, le journal d'écriture anticipée (WAL) des quorum queues et les fichiers de segments.
Le correctif. Excluez de l'analyse en temps réel le répertoire de données du nœud, le message store, le WAL et les fichiers de segments des quorum queues, ainsi que les journaux. Sous Linux, le répertoire de données est généralement /var/lib/rabbitmq/mnesia ; sous Windows, il se trouve sous %APPDATA%\RabbitMQ. Vérifiez le chemin réel avec rabbitmq-diagnostics status avant de rédiger l'exclusion. C'est l'une des causes racines de latence « mystère » que nous rencontrons le plus souvent en on-premise, et une modification d'exclusion de cinq minutes suffit souvent à retrouver le débit perdu.
Retour de nos missions. Windows est plus présent dans les déploiements RabbitMQ de production que la plupart des guides ne le supposent : 27 de nos 145 tickets de support (19 %) mentionnent Windows Server, IIS ou un client .NET, et ils portent surtout sur des échecs de démarrage du service, des fenêtres de gestion des correctifs, des exclusions antivirus et des mises à niveau (l'analyse des tickets).
Contention des ressources sur les machines virtuelles
Symptômes. Une latence imprévisible, des files d'attente bloquées et des redémarrages occasionnels de nœuds ; le CPU steal est élevé et la latence disque grimpe sous charge. Cause racine. Les nœuds partagent le CPU, la mémoire ou les E/S disque avec des charges de travail voisines bruyantes sur un hyperviseur surchargé ou un stockage partagé, et le scheduler Erlang est affamé.
Le correctif. Attribuez des cœurs CPU dédiés et réservez la mémoire de chaque VM qui exécute un nœud. Préférez un SSD ou NVMe local au stockage partagé pour le répertoire de données. Surveillez le CPU steal, le disk await et la pression mémoire plutôt que des moyennes, et placez les nœuds du cluster sur des hôtes physiques distincts. Nous dimensionnons les vCPU et la RAM en fonction des débits soutenus de publication et de consommation, et vérifions la marge des schedulers au pic de charge, pas en charge moyenne.
Un type de file d'attente inadapté à la charge de travail
Symptômes. Les files classiques deviennent instables en cas de forte rotation ou de gros arriérés, le comportement au basculement est imprévisible, et des nœuds peuvent planter sous forte charge. Cause racine. Les files classiques, et surtout les anciennes files en miroir, n'ont pas été conçues pour une haute disponibilité durable à grande échelle ; les classic mirrored queues sont dépréciées.
Le correctif. Passez les charges de travail durables et à haute disponibilité sur des quorum queues. Utilisez les streams lorsque vous avez besoin d'une diffusion multiple (fan-out) à haut débit ou du rejeu. Activez les publisher confirms et les acquittements côté consommateur, définissez une delivery-limit et un dead-letter exchange pour que les messages empoisonnés ne tournent pas en boucle, et réservez les files classiques au trafic transitoire non répliqué. Nous menons les migrations de files classiques vers des quorum queues sans interruption de service ou presque, et vérifions avant la bascule que les clients prennent en charge les publisher confirms.
Latence élevée due aux messages non acquittés
Symptômes. Le compteur unacked de l'interface grimpe, la mémoire augmente et une file d'attente semble bloquée alors que des consommateurs sont connectés. Les tempêtes de re-livraisons sont fréquentes. Cause racine. Les consommateurs utilisent l'acquittement manuel mais n'acquittent pas, ou lentement ; un prefetch non borné permet à un consommateur d'accaparer des messages en transit, et un consommateur planté conserve ses messages non acquittés jusqu'à la fermeture du canal.
Le correctif. Définissez un prefetch raisonnable par consommateur (basic.qos prefetch_count), en partant de 10 à 50 environ puis en ajustant. Acquittez après un traitement réussi, en privilégiant pour la durabilité les acquittements manuels avec confirmations plutôt que l'autoack. Réglez consumer_timeout sur la durée de traitement réelle pour que les tâches longues ne soient pas fermées de force, routez les messages re-livrés à répétition vers un dead-letter exchange avec une delivery-limit, et déclenchez une alerte sur une croissance durable des unacked. Le réglage du prefetch est, à lui seul, le changement le plus efficace que nous apportons face au ticket « la file est bloquée mais les consommateurs semblent en bonne santé ».
Rotation ou fuites de connexions et de canaux
Symptômes. Le nombre de connexions et de canaux grimpe régulièrement, les descripteurs de fichiers et les processus Erlang s'épuisent, et les nouveaux clients ne peuvent plus se connecter. Vous pouvez voir des erreurs connection_forced ou too_many_channels et ce qui ressemble à une lente fuite mémoire. Cause racine. Les applications ouvrent une nouvelle connexion ou un nouveau canal par message ou par requête au lieu de réutiliser des connexions longue durée avec un pool de canaux ; l'absence de reprise automatique laisse derrière elle des connexions orphelines.
Le correctif. Réutilisez des connexions longue durée et n'en ouvrez et fermez jamais une par publication. Utilisez un canal par thread ou par consommateur, issu d'un pool borné, définissez channel_max, surveillez le nombre de connexions, de canaux et de descripteurs de fichiers, et activez la reprise automatique des connexions dans les bibliothèques clientes. La rotation des connexions se fait régulièrement passer pour une fuite mémoire de RabbitMQ ; la cause se situe presque toujours côté client.
Arriéré de messages et déclenchement du contrôle de flux
Symptômes. Les producteurs sont ralentis ou bloqués, les pipelines en amont tombent en timeout et les connexions passent en état flow ; les files d'attente grossissent plus vite qu'elles ne se vident. Cause racine. Les consommateurs ne suivent pas le rythme, ou une alarme de seuil haut (high watermark) mémoire ou disque se déclenche et RabbitMQ applique une contre-pression pour protéger le nœud.
Le correctif. Gardez les files d'attente courtes en alignant la capacité des consommateurs sur le débit de publication : ajoutez des consommateurs et utilisez des consommateurs concurrents pour vider rapidement les files. Réglez vm_memory_high_watermark et disk_free_limit en fonction de l'hôte réel et déclenchez des alertes sur l'état des alarmes. Appliquez des policies max-length ou TTL et réfléchissez au comportement sur disque pour les très gros arriérés. Le contrôle de flux, c'est RabbitMQ qui se protège ; le correctif passe par la capacité des consommateurs et des seuils d'alarme corrects, jamais par la désactivation de la contre-pression.
Une visibilité insuffisante sur la santé du cluster
Symptômes. Les incidents ne remontent que lorsque les clients les signalent ; il n'existe aucune référence, et l'équipe n'a aucune visibilité sur la profondeur des files d'attente, la mémoire et l'état des partitions jusqu'à ce que quelque chose casse. Cause racine. Aucun pipeline de métriques ni d'alertes, et une dépendance à l'interface de management, qui n'offre qu'une vue en temps réel.
Le correctif. Déployez le plugin Prometheus avec Grafana, ou un équivalent managé. Suivez la profondeur des files d'attente, les unacked, les débits de publication et de livraison, la mémoire et le disque des nœuds, les descripteurs de fichiers, le nombre de connexions et de canaux, et l'état des partitions. Déclenchez des alertes sur les tendances et conservez l'historique pour la planification de capacité. Nous déployons pendant l'onboarding un tableau de bord Grafana RabbitMQ standard et un jeu d'alertes, pour que les problèmes apparaissent avant de réveiller qui que ce soit.
Policies HA ou mirroring mal configurés
Symptômes. Le basculement est irrégulier, la synchronisation prend du retard et des données peuvent être perdues lors du basculement. Une mise en miroir excessive sollicite les ressources, et des avertissements de fonctionnalités obsolètes apparaissent dans les journaux. Cause racine. Le cluster repose encore sur des files classiques en miroir et des politiques de mise en miroir automatique, ou des politiques ha-mode sont appliquées de manière trop large.
Le correctif. Abandonnez la mise en miroir classique et confiez la haute disponibilité (HA) aux quorum queues, avec des politiques explicites et testées. Définissez des politiques ciblées plutôt qu'une mise en miroir généralisée, testez régulièrement le basculement, surveillez l'état de Raft et de la synchronisation, et planifiez la suppression de toute politique de file classique en miroir restante sur les versions récentes de RabbitMQ. Les files classiques en miroir arrivent en fin de parcours ; notre méthode de migration vous fait passer aux quorum queues, avec un basculement validé avant la recette.
Retour de nos missions. 9 des 145 tickets mentionnent des files classiques en miroir ou des politiques HA. Il s'agit de parcs qui n'ont pas encore achevé la transition que la mise en miroir impose avant RabbitMQ 4.
Des réglages réseau et heartbeat mal ajustés
Symptômes. Des faux positifs de pannes de nœuds et de connexions, des partitions intempestives dans les déploiements cloud ou WAN, et des connexions coupées sous une charge par ailleurs normale. Cause racine. Les réglages par défaut du heartbeat, des timeouts TCP et de la distribution Erlang ne sont pas adaptés aux liaisons cloud ou longue distance à latence plus élevée.
Le correctif. Définissez des intervalles de heartbeat adaptés à l'environnement, plus longs pour le WAN et le cloud. Réglez tcp_listen_options, comme le keepalive et la taille des buffers, ajustez le net_ticktime d'Erlang pour qu'une latence passagère ne déclenche pas de partition, synchronisez les horloges des nœuds avec NTP, et validez dans des conditions réseau réelles. Nous calibrons net_ticktime et les heartbeats sur le profil réel de la liaison, pour que la gigue ordinaire du cloud ne se fasse jamais passer pour une panne de nœud.
Cinq habitudes qui évitent la plupart des incidents
Les schémas ci-dessus sont des modes de défaillance ; voici la discipline courante qui vous en tient à l'écart. Sauvegardez la configuration et les définitions, utilisateurs et vhosts compris, pour une reprise rapide et reproductible. Testez à l'échelle dans un environnement de préproduction, avec du trafic réel et des scénarios de panne. Maintenez RabbitMQ et Erlang à jour des correctifs selon un calendrier, en validant d'abord en préproduction ; lorsqu'une version a dépassé sa fin de support, un build étendu corrigé des CVE vous garde couvert sans mise à niveau précipitée. Gérez explicitement la HA et les policies de files d'attente, avec des policies ciblées et testées et des quorum queues pour la durabilité. Documentez chaque changement dans un dépôt d'infrastructure as code, pour la reproductibilité et un retour arrière propre.
Questions fréquentes
Quelle est la cause la plus fréquente des pannes RabbitMQ ?
Sur les parcs gérés par AceMQ, trois schémas expliquent la plupart des incidents : des classic mirrored queues portant des charges de travail qui nécessitent des quorum queues, un prefetch non borné avec des acquittements lents ou absents, et la rotation des connexions ou des canaux due au code client. Tous trois sont visibles dans l'interface de management avant de provoquer une panne, ce qui explique que la supervision soit le quatrième.
Pourquoi RabbitMQ plante-t-il sans cesse sous un fort volume de messages ?
Généralement une alarme de seuil haut mémoire ou disque suivie du contrôle de flux, sur un nœud dimensionné pour la charge moyenne plutôt que pour le pic, souvent avec des files classiques qui retiennent un gros arriéré. Le correctif : une capacité de consommation alignée sur le débit de publication, des seuils d'alarme corrects, des quorum queues pour les charges de travail durables et un prefetch borné par consommateur.
Faut-il utiliser pause_minority ou autoheal pour la gestion des partitions ?
pause_minority en production. Ce mode met en pause le côté minoritaire pour que seule la majorité continue de servir, ce qui empêche toute divergence. À partir de RabbitMQ 4.3, ce n'est plus applicable : la 4.3.0 a supprimé Mnesia et, avec lui, les stratégies de gestion des partitions ; cluster_partition_handling est toujours accepté mais n'a aucun effet, et seule la règle de majorité de Raft décide quel côté continue de servir. Supprimez la clé lors de la mise à niveau. autoheal laisse les deux côtés fonctionner puis écarte les modifications de l'un d'eux à la réconciliation, ce qui revient à perdre des messages par conception. N'utilisez jamais ignore en production.
Comment savoir lesquels de ces schémas touchent mon cluster ?
Lancez le bilan de santé gratuit en libre-service sur assessment.acemq.com contre votre API de management pour obtenir les constats automatisés, ou réservez le bilan de santé RabbitMQ mené par un ingénieur, qui passe en revue les dix schémas ainsi que le comportement des clients et vous remet une liste écrite de correctifs priorisés.