Présentation
Sur EKS, la mise à niveau des groupes de nœuds managés draine les nœuds les uns après les autres. Pour un cluster à quorum de trois membres déployé en StatefulSet, un drainage qui chevauche la récupération d'un membre laisse le cluster sans majorité. Le PodDisruptionBudget censé l'empêcher ne vaut que ce que vaut le signal de préparation sur lequel il s'appuie.
Défi
Chaque fenêtre de correctifs mensuelle provoquait 5 à 15 minutes d'échecs de publication. Deux des trois pods du broker étaient parfois planifiés dans la même zone de disponibilité (AZ), et la readiness probe se contentait de vérifier que le port AMQP était ouvert : un membre redémarré était donc déclaré prêt avant d'avoir rejoint le cluster. Le drainage passait alors au nœud suivant, et les ingénieurs devaient rétablir le cluster à la main après chaque fenêtre.
Environnement
Amazon EKS 1.34 avec des groupes de nœuds managés répartis sur trois zones de disponibilité (AZ), un cluster RabbitMQ à trois membres piloté par le RabbitMQ Cluster Operator, des volumes gp3 et des alertes Prometheus.
Approche
AceMQ a reproduit la panne sur un cluster de préproduction en drainant les nœuds successivement tout en surveillant l'appartenance aux quorum queues, puis a corrigé les trois niveaux qui la rendaient possible : la planification, la préparation et la procédure de drainage. Chaque modification est passée par le dépôt GitOps du client et a été testée par un drainage scripté avant d'atteindre la production.
Solution
- Reproduction de la perte de quorum en préproduction grâce à un drainage progressif scripté, avec enregistrement de l'état des membres à chaque étape
- Remplacement du contrôle de préparation fondé sur l'ouverture du port par une vérification confirmant que le membre a rejoint le cluster et que ses quorum queues sont synchronisées
- Ajout de contraintes de répartition topologique et d'anti-affinité des pods, afin que chaque membre se trouve dans une zone de disponibilité (AZ) et sur un nœud différents
- Configuration du PodDisruptionBudget pour maintenir deux membres disponibles, et vérification que les drainages le respectent
- Échelonnement des mises à jour des groupes de nœuds managés, avec une pause entre chaque nœud calibrée sur le temps de récupération mesuré
- Rédaction d'un runbook de drainage et de récupération pour l'équipe plateforme, comprenant les commandes qui confirment l'état des membres avant de drainer le nœud suivant
Résultat obtenu
Les trois fenêtres de correctifs suivantes se sont déroulées sans aucun échec de publication, et l'équipe plateforme planifie désormais les mises à jour des nœuds pendant les heures ouvrées au lieu d'attendre un week-end calme.