Volver a todos los casos de uso

SoporteServicios financieros / Pagos

La aplicación rutinaria de parches en los nodos tumbaba una y otra vez el clúster de mensajería

Procesador regional de pagos

Cómo evitamos que un clúster de RabbitMQ de tres miembros perdiera el quórum cada vez que se drenaban los grupos de nodos de EKS para la aplicación de parches, corrigiendo la preparación, la distribución topológica, los presupuestos de interrupción y el procedimiento de drenaje.

Descripción general

Las actualizaciones de grupos de nodos gestionados en EKS drenan los nodos uno tras otro. En un clúster de quórum de tres miembros sobre un StatefulSet, un drenaje que coincide con un miembro que aún se está recuperando deja al clúster sin mayoría. El PodDisruptionBudget que debería impedirlo solo es tan fiable como la señal de preparación en la que se basa.

Reto

Cada ventana mensual de parches provocaba entre 5 y 15 minutos de fallos de publicación. En ocasiones, dos de los tres pods del broker se programaban en la misma zona de disponibilidad (AZ), y la readiness probe solo comprobaba que el puerto AMQP estuviera abierto, de modo que un miembro reiniciado se daba por preparado antes de haberse reincorporado al clúster. El drenaje pasaba entonces al siguiente nodo y los ingenieros tenían que recuperar el clúster a mano después de cada ventana.

Entorno

Amazon EKS 1.34 con grupos de nodos gestionados en tres zonas de disponibilidad (AZ), un clúster de RabbitMQ de tres miembros gestionado por el RabbitMQ Cluster Operator, volúmenes gp3 y alertas con Prometheus.

Enfoque

AceMQ reprodujo el fallo en un clúster de staging drenando nodos en secuencia mientras supervisaba la pertenencia de las colas de quórum (quorum queues), y después corrigió las tres capas que lo permitían: la programación, la preparación y el procedimiento de drenaje. Cada cambio pasó por el repositorio GitOps del cliente y se probó con un drenaje automatizado mediante script antes de llegar a producción.

Solución

  1. Reproducción de la pérdida de quórum en staging con un drenaje progresivo automatizado mediante script, registrando el estado de los miembros en cada paso
  2. Sustitución de la comprobación de preparación basada en el puerto abierto por otra que confirma que el miembro se ha reincorporado al clúster y que sus colas de quórum están sincronizadas
  3. Incorporación de restricciones de distribución topológica y antiafinidad de pods para que cada miembro resida en una zona de disponibilidad (AZ) y un nodo distintos
  4. Configuración del PodDisruptionBudget para mantener dos miembros disponibles y verificación de que los drenajes lo respetaban
  5. Escalonamiento de las actualizaciones de grupos de nodos gestionados, con una pausa entre nodos ajustada al tiempo de recuperación medido
  6. Redacción de un runbook de drenaje y recuperación para el equipo de plataforma, con los comandos que confirman el estado de los miembros antes de drenar el siguiente nodo

Resultado final

Las tres ventanas de parches siguientes se completaron sin un solo fallo de publicación, y el equipo de plataforma ahora programa las actualizaciones de nodos en horario laboral en lugar de esperar a un fin de semana tranquilo.

Tecnologías

KubernetesRabbitMQAmazon EKSPodDisruptionBudgets

¿Necesita soporte experto de Kubernetes?

Los ingenieros sénior de Kubernetes de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.