Présentation
L'entreprise exploite une plateforme de paiement mondiale bâtie sur des microservices, avec RabbitMQ comme colonne vertébrale de la messagerie. Avec plus de 200 changements en production par semaine et des exigences de disponibilité strictes, toute instabilité de RabbitMQ a un impact direct sur le traitement des paiements.
Défi
Une panne réseau chez AWS a provoqué des bindings de messages erronés et des échecs de livraison entre zones de disponibilité. Les messages étaient mal routés en raison de défaillances de communication entre les AZ, ce qui entraînait des traitements en double et des échecs de livraison. L'équipe devait migrer des classic mirrored queues vers les quorum queues pour assurer la compatibilité avec RabbitMQ 4.x, tout en maintenant une exploitation sans interruption de service.
Environnement
Déploiement AWS multi-AZ, RabbitMQ 3.13 avec trajectoire de migration vers la 4.1, architecture de microservices Spring AMQP, orchestration Kubernetes.
Approche
AceMQ a réalisé une évaluation complète des définitions RabbitMQ de production, identifié des erreurs de policies et d'expressions régulières, et fourni une documentation de bonnes pratiques pour l'utilisation de Spring Boot AMQP, couvrant la concurrence, les bindings, les policies et la gestion des partitions de cluster.
Solution
- Diagnostic de la cause racine de l'impact de la panne réseau AWS sur le comportement du cluster RabbitMQ face aux partitions
- Recommandation de passer de la stratégie de gestion des partitions « autoheal » à « pause_minority » pour éviter les pertes de données
- Mise en place des publisher confirms et d'écouteurs d'événements pour la logique de nouvelle tentative dans les clients Spring AMQP
- Conception d'une stratégie de gestion dynamique des files d'attente pour éviter les fuites de ressources dans les microservices
- Planification de la migration des classic mirrored queues vers les quorum queues pour RabbitMQ 4.x
Résultat obtenu
Le client a renforcé la résilience de RabbitMQ grâce à une gestion des partitions adaptée, a réduit le risque de perte de messages lors d'incidents réseau, et dispose d'une trajectoire de migration claire vers les quorum queues pour une stabilité à long terme.