Retour à tous les cas d'usage

AuditAviation / technologies aéroportuaires

Garantir la fiabilité de la messagerie des systèmes de gestion des portes d'embarquement dans les aéroports du monde entier

Fournisseur mondial de technologies aéronautiques

Résolution de problèmes de basculement de cluster, de gestion des partitions et de quorum queues dans un environnement opérationnel aéronautique à fort enjeu.

Analyse des causes profondes sur un cluster en production

Présentation

L'entreprise fournit des systèmes critiques de gestion des portes d'embarquement utilisés dans les aéroports du monde entier. Son déploiement RabbitMQ sur Kubernetes subissait des échecs de publication, des problèmes de basculement de cluster et des défauts de synchronisation des quorum queues qui menaçaient la disponibilité du système.

Défi

RabbitMQ partageait des nœuds Kubernetes avec PostgreSQL, ce qui provoquait une contention des ressources. La synchronisation des quorum queues échouait sur un stockage limité à 3 000 IOPS, et les partitions du cluster entraînaient des liaisons (bindings) zombies et des échecs de publication de messages. L'équipe devait passer à RabbitMQ 4.2 tout en préservant la stabilité dans les environnements Azure et VMware.

Environnement

Clusters Kubernetes sur Azure et VMware, RabbitMQ cohébergé avec PostgreSQL, supervision Prometheus/Grafana, applications clientes en C et Node.js.

Approche

AceMQ a mené pendant plusieurs semaines une évaluation intensive avec des sessions quotidiennes : tests de performance des disques avec FIO, analyse des journaux du consensus RAFT et conception de stratégies d'isolation de l'infrastructure. L'équipe a fourni une documentation complète couvrant les procédures de basculement, la supervision, la sauvegarde et la restauration, ainsi que la fédération.

Solution

  1. Séparation de RabbitMQ et de PostgreSQL sur des nœuds dédiés dotés d'un stockage SSD isolé
  2. Recommandation de disques Premium SSD v2 pour atteindre la latence inférieure à la milliseconde exigée par les quorum queues
  3. Développement de scripts de détection et de reprise automatiques pour les quorum queues bloquées et les liaisons zombies
  4. Configuration des métriques Prometheus et des alertes Grafana pour une supervision proactive de la santé du cluster
  5. Livraison d'un runbook complet pour les opérations de basculement, de sauvegarde et restauration, et de fédération
  6. Accompagnement de la mise à niveau de RabbitMQ 3.x vers la 4.2 avec validation de la stabilité

Résultat obtenu

Le client a obtenu une exploitation stable de RabbitMQ sur Kubernetes grâce à une isolation correcte des ressources, à des procédures de reprise automatisées et à une supervision complète, garantissant une messagerie fiable pour les systèmes aéroportuaires du monde entier.

Technologies

RabbitMQKubernetesQuorum QueuesPrometheusGrafana

Prêt pour un bilan de santé RabbitMQ ?

Les ingénieurs RabbitMQ seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.