Guide · RabbitMQ

Le guide du clustering et du dimensionnement RabbitMQ

Un cluster RabbitMQ qui tient, c'est une série de décisions prises dans le bon ordre : combien de nœuds et où les placer, quel type de file attribuer à chaque charge de travail, de combien de mémoire et de disque chaque nœud a besoin au pic, et ce qui se passe quand le réseau se comporte mal. Ce guide les aborde dans cet ordre.

Tyler Eastridge

Par Tyler Eastridge, Directeur des opérations

LinkedIn · Mis à jour le · Lecture : 5 min · 7 sections

Sur cette page

Le clustering en un paragraphe

Le clustering en un paragraphe

Trois nœuds, ou cinq pour les environnements qui doivent survivre à deux pannes, sur des hôtes distincts dans des domaines de défaillance distincts, avec la gestion des partitions pause_minority. Des quorum queues pour tout ce qui doit être durable, des streams pour la relecture et la diffusion multiple (fan-out), des files classiques uniquement pour le trafic transitoire, et aucune mise en miroir classique. Dimensionnez la mémoire et le disque pour l'arriéré au pic plutôt que pour le débit moyen, gardez de la marge pour les schedulers et réglez les seuils de mémoire et d'espace disque libre en fonction de l'hôte réel. Ajustez ensuite les heartbeats et net_ticktime au réseau effectif, et consignez chaque politique par écrit.

Nombre et placement des nœuds

Les quorum queues exigent une majorité, d'où un nombre impair de nœuds : trois nœuds survivent à une défaillance, cinq à deux. Les nœuds sont placés sur des hôtes physiques distincts, dans des zones de disponibilité (AZ) distinctes lorsque le cloud en propose, sur un réseau offrant une latence faible et stable entre eux. Un cluster à deux nœuds ne peut pas former de majorité et fait pire qu'un seul nœud ; un nombre pair gaspille un nœud. N'étirez pas un cluster sur plusieurs régions.

Retour de nos missions. Sur les 8 clusters dont nous avons relevé la taille parmi 22 parcs audités, 4 comptaient trois nœuds et 3 un nombre pair, deux ou quatre. L'un des parcs à quatre nœuds a été audité précisément pour cette raison : un nombre pair soit ne tolère aucune perte, soit peut se scinder en deux moitiés sans majorité.

Ce qu'apporte chaque nombre de nœuds à un cluster de quorum queues
NœudsMajorité requiseDéfaillances de nœuds toléréesEn pratique
110Aucune redondance
220Pire qu'un seul nœud : la perte de l'un ou l'autre nœud fait perdre la majorité
321Le plus petit cluster qui survit à une défaillance
431Ne tolère pas plus de pannes que trois nœuds et peut se scinder en deux moitiés
532Pour les parcs qui doivent survivre à deux défaillances
Tableau · Ce qu'apporte chaque nombre de nœuds à un cluster de quorum queues. Faites défiler horizontalement sur petit écran.

Un type de file par charge de travail, choisi délibérément

Des quorum queues pour tout ce qui doit survivre à la perte d'un nœud : elles répliquent avec Raft, élisent un leader en cas de panne et prennent en charge les limites de livraison et le dead-lettering. Des streams pour la diffusion multiple à haut débit et la relecture. Des files classiques uniquement pour le trafic transitoire et non répliqué. Les files classiques mises en miroir sont dépréciées : il faut les migrer, pas les optimiser.

Dimensionner mémoire, disque et CPU pour le pic, pas pour la moyenne

La mémoire est dictée par l'arriéré : une file qui ne contient normalement rien peut accumuler des millions de messages pendant une panne des consommateurs, et c'est ce cas que le nœud doit encaisser. Le disque est dicté par ce même arriéré, plus les segments des quorum queues et le write-ahead log. Le CPU est dicté par la marge des schedulers Erlang aux débits maximaux de publication et de consommation, avec des cœurs dédiés sur les hôtes virtualisés. Réglez vm_memory_high_watermark et disk_free_limit en fonction de l'hôte réel pour que les alarmes se déclenchent avant que le nœud ne tombe, et alertez sur ces alarmes.

Objectifs de réponse à partir de 15 minutes, selon le plan. Ingénieurs seniors attitrés.

Nous contacter

Décider du comportement en cas de partition avant qu'elle ne survienne

cluster_partition_handling vaut pause_minority en production : le côté minoritaire se met en pause, le côté majoritaire continue de servir et il n'y a rien à réconcilier au rétablissement. À partir de RabbitMQ 4.3, cela ne s'applique plus : la version 4.3.0 a supprimé Mnesia et, avec lui, les stratégies de gestion des partitions ; cluster_partition_handling est toujours accepté dans rabbitmq.conf mais n'a aucun effet, et le magasin de métadonnées, les quorum queues et les streams reposent tous sur Raft, si bien que seule la règle de majorité Raft décide du côté qui continue de servir. Supprimez cette clé lors de la mise à niveau. autoheal laisse les deux côtés accepter des écritures puis en abandonne un, ce qui revient à perdre des données par conception. ignore est réservé au labo. Combinée aux quorum queues et à un nombre impair de nœuds, cette approche transforme la plupart des incidents de partition en un nœud en pause et une alerte d'astreinte plutôt qu'en enquête sur une perte de données.

Adapter le cluster au réseau sur lequel il tourne

Les valeurs par défaut supposent un réseau local. Sur les liaisons cloud et WAN, allongez les heartbeats, ajustez tcp_listen_options pour le keepalive et les buffers, et augmentez le net_ticktime d'Erlang pour qu'une latence passagère ne soit pas interprétée comme une panne de nœud. Synchronisez les horloges via NTP. Validez en conditions réelles : un cluster qui passe les tests en labo et se partitionne chaque semaine en production a généralement un problème de net_ticktime.

Des politiques, pas des arguments par file

Le type de file, les limites de livraison, les dead-letter exchanges, le TTL, la longueur maximale et le comportement en cas de dépassement relèvent de politiques appliquées par motif, afin qu'un changement de topologie n'exige pas de redéployer les clients et qu'un auditeur puisse lire l'intention à un seul endroit. Des politiques ciblées, pas générales : une politique qui s'applique à toutes les files, c'est précisément ainsi que la mise en miroir a dérapé à l'origine. Conservez les politiques dans votre gestionnaire de versions, aux côtés de l'export des définitions.

Un cluster n'est pas plus stable que ses clients

Des connexions de longue durée avec des canaux mutualisés, un prefetch borné, des acquittements rapides, des publisher confirms pour tout ce qui ne doit pas être perdu et la reprise automatique des connexions. La plupart des symptômes de cluster (compteurs de messages non acquittés qui grimpent, épuisement des descripteurs de fichiers, mémoire qui ressemble à une fuite) trouvent leur origine dans le code client. Passez les clients en revue dans le cadre de la conception du cluster, pas après le premier incident.

Questions fréquentes

Combien de nœuds faut-il dans un cluster RabbitMQ ?

Trois pour la plupart des environnements de production, cinq lorsqu'il faut survivre à deux pannes simultanées. Toujours un nombre impair, car les quorum queues ont besoin d'une majorité ; deux nœuds font pire qu'un seul. Les nœuds sont placés sur des hôtes distincts et, dans le cloud, dans des zones de disponibilité distinctes.

Faut-il utiliser des quorum queues ou des files classiques ?

Des quorum queues pour tout ce qui doit survivre à la perte d'un nœud, des streams pour la relecture et la diffusion multiple à haut débit, des files classiques uniquement pour le trafic transitoire qui peut être perdu. Les files classiques mises en miroir sont dépréciées et doivent être migrées.

Comment dimensionner un nœud RabbitMQ ?

En fonction de l'arriéré au pic, pas du débit moyen. La mémoire et le disque doivent pouvoir contenir le plus gros arriéré qu'une panne des consommateurs peut produire, plus les segments des quorum queues et le write-ahead log. Le CPU doit offrir de la marge aux schedulers Erlang aux débits maximaux, sur des cœurs dédiés en environnement virtualisé.

Un cluster RabbitMQ peut-il s'étendre sur plusieurs zones de disponibilité ?

Oui, et c'est même recommandé, au sein d'une même région. Sur plusieurs régions, non : la distribution entre nœuds suppose une faible latence, et la gigue d'un WAN se traduit par des partitions. Utilisez un cluster par région, reliés par federation ou par Shovel.

Consultation gratuite

Un regard expert sur votre cluster RabbitMQ

Que vous deviez résoudre un incident de production, planifier une migration ou obtenir un second avis sur votre architecture, notre équipe est prête. Pas d’argumentaire commercial, seulement des réponses.

Nous écrire