Descripción general
Las actualizaciones de grupos de nodos gestionados en EKS drenan los nodos uno tras otro. En un clúster de quórum de tres miembros sobre un StatefulSet, un drenaje que coincide con un miembro que aún se está recuperando deja al clúster sin mayoría. El PodDisruptionBudget que debería impedirlo solo es tan fiable como la señal de preparación en la que se basa.
Reto
Cada ventana mensual de parches provocaba entre 5 y 15 minutos de fallos de publicación. En ocasiones, dos de los tres pods del broker se programaban en la misma zona de disponibilidad (AZ), y la readiness probe solo comprobaba que el puerto AMQP estuviera abierto, de modo que un miembro reiniciado se daba por preparado antes de haberse reincorporado al clúster. El drenaje pasaba entonces al siguiente nodo y los ingenieros tenían que recuperar el clúster a mano después de cada ventana.
Entorno
Amazon EKS 1.34 con grupos de nodos gestionados en tres zonas de disponibilidad (AZ), un clúster de RabbitMQ de tres miembros gestionado por el RabbitMQ Cluster Operator, volúmenes gp3 y alertas con Prometheus.
Enfoque
AceMQ reprodujo el fallo en un clúster de staging drenando nodos en secuencia mientras supervisaba la pertenencia de las colas de quórum (quorum queues), y después corrigió las tres capas que lo permitían: la programación, la preparación y el procedimiento de drenaje. Cada cambio pasó por el repositorio GitOps del cliente y se probó con un drenaje automatizado mediante script antes de llegar a producción.
Solución
- Reproducción de la pérdida de quórum en staging con un drenaje progresivo automatizado mediante script, registrando el estado de los miembros en cada paso
- Sustitución de la comprobación de preparación basada en el puerto abierto por otra que confirma que el miembro se ha reincorporado al clúster y que sus colas de quórum están sincronizadas
- Incorporación de restricciones de distribución topológica y antiafinidad de pods para que cada miembro resida en una zona de disponibilidad (AZ) y un nodo distintos
- Configuración del PodDisruptionBudget para mantener dos miembros disponibles y verificación de que los drenajes lo respetaban
- Escalonamiento de las actualizaciones de grupos de nodos gestionados, con una pausa entre nodos ajustada al tiempo de recuperación medido
- Redacción de un runbook de drenaje y recuperación para el equipo de plataforma, con los comandos que confirman el estado de los miembros antes de drenar el siguiente nodo
Resultado final
Las tres ventanas de parches siguientes se completaron sin un solo fallo de publicación, y el equipo de plataforma ahora programa las actualizaciones de nodos en horario laboral en lugar de esperar a un fin de semana tranquilo.