Retour à tous les cas d'usage

SupportServices financiers / paiements

La gestion courante des correctifs des nœuds faisait tomber le cluster de messagerie à chaque fois

Processeur de paiements régional

Comment nous avons empêché un cluster RabbitMQ à trois membres de perdre son quorum à chaque drainage des groupes de nœuds EKS pour la gestion des correctifs, en corrigeant la préparation, la répartition topologique, les budgets de perturbation et la procédure de drainage.

Présentation

Sur EKS, la mise à niveau des groupes de nœuds managés draine les nœuds les uns après les autres. Pour un cluster à quorum de trois membres déployé en StatefulSet, un drainage qui chevauche la récupération d'un membre laisse le cluster sans majorité. Le PodDisruptionBudget censé l'empêcher ne vaut que ce que vaut le signal de préparation sur lequel il s'appuie.

Défi

Chaque fenêtre de correctifs mensuelle provoquait 5 à 15 minutes d'échecs de publication. Deux des trois pods du broker étaient parfois planifiés dans la même zone de disponibilité (AZ), et la readiness probe se contentait de vérifier que le port AMQP était ouvert : un membre redémarré était donc déclaré prêt avant d'avoir rejoint le cluster. Le drainage passait alors au nœud suivant, et les ingénieurs devaient rétablir le cluster à la main après chaque fenêtre.

Environnement

Amazon EKS 1.34 avec des groupes de nœuds managés répartis sur trois zones de disponibilité (AZ), un cluster RabbitMQ à trois membres piloté par le RabbitMQ Cluster Operator, des volumes gp3 et des alertes Prometheus.

Approche

AceMQ a reproduit la panne sur un cluster de préproduction en drainant les nœuds successivement tout en surveillant l'appartenance aux quorum queues, puis a corrigé les trois niveaux qui la rendaient possible : la planification, la préparation et la procédure de drainage. Chaque modification est passée par le dépôt GitOps du client et a été testée par un drainage scripté avant d'atteindre la production.

Solution

  1. Reproduction de la perte de quorum en préproduction grâce à un drainage progressif scripté, avec enregistrement de l'état des membres à chaque étape
  2. Remplacement du contrôle de préparation fondé sur l'ouverture du port par une vérification confirmant que le membre a rejoint le cluster et que ses quorum queues sont synchronisées
  3. Ajout de contraintes de répartition topologique et d'anti-affinité des pods, afin que chaque membre se trouve dans une zone de disponibilité (AZ) et sur un nœud différents
  4. Configuration du PodDisruptionBudget pour maintenir deux membres disponibles, et vérification que les drainages le respectent
  5. Échelonnement des mises à jour des groupes de nœuds managés, avec une pause entre chaque nœud calibrée sur le temps de récupération mesuré
  6. Rédaction d'un runbook de drainage et de récupération pour l'équipe plateforme, comprenant les commandes qui confirment l'état des membres avant de drainer le nœud suivant

Résultat obtenu

Les trois fenêtres de correctifs suivantes se sont déroulées sans aucun échec de publication, et l'équipe plateforme planifie désormais les mises à jour des nœuds pendant les heures ouvrées au lieu d'attendre un week-end calme.

Technologies

KubernetesRabbitMQAmazon EKSPodDisruptionBudgets

Besoin d'un support Kubernetes expert ?

Les ingénieurs Kubernetes seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.