Présentation
L'entreprise fournit des systèmes critiques de gestion des portes d'embarquement utilisés dans les aéroports du monde entier. Son déploiement RabbitMQ sur Kubernetes subissait des échecs de publication, des problèmes de basculement de cluster et des défauts de synchronisation des quorum queues qui menaçaient la disponibilité du système.
Défi
RabbitMQ partageait des nœuds Kubernetes avec PostgreSQL, ce qui provoquait une contention des ressources. La synchronisation des quorum queues échouait sur un stockage limité à 3 000 IOPS, et les partitions du cluster entraînaient des liaisons (bindings) zombies et des échecs de publication de messages. L'équipe devait passer à RabbitMQ 4.2 tout en préservant la stabilité dans les environnements Azure et VMware.
Environnement
Clusters Kubernetes sur Azure et VMware, RabbitMQ cohébergé avec PostgreSQL, supervision Prometheus/Grafana, applications clientes en C et Node.js.
Approche
AceMQ a mené pendant plusieurs semaines une évaluation intensive avec des sessions quotidiennes : tests de performance des disques avec FIO, analyse des journaux du consensus RAFT et conception de stratégies d'isolation de l'infrastructure. L'équipe a fourni une documentation complète couvrant les procédures de basculement, la supervision, la sauvegarde et la restauration, ainsi que la fédération.
Solution
- Séparation de RabbitMQ et de PostgreSQL sur des nœuds dédiés dotés d'un stockage SSD isolé
- Recommandation de disques Premium SSD v2 pour atteindre la latence inférieure à la milliseconde exigée par les quorum queues
- Développement de scripts de détection et de reprise automatiques pour les quorum queues bloquées et les liaisons zombies
- Configuration des métriques Prometheus et des alertes Grafana pour une supervision proactive de la santé du cluster
- Livraison d'un runbook complet pour les opérations de basculement, de sauvegarde et restauration, et de fédération
- Accompagnement de la mise à niveau de RabbitMQ 3.x vers la 4.2 avec validation de la stabilité
Résultat obtenu
Le client a obtenu une exploitation stable de RabbitMQ sur Kubernetes grâce à une isolation correcte des ressources, à des procédures de reprise automatisées et à une supervision complète, garantissant une messagerie fiable pour les systèmes aéroportuaires du monde entier.