Überblick
Bei Upgrades von Managed Node Groups auf EKS werden die Knoten nacheinander gedrained. Bei einem Quorum-Cluster mit drei Mitgliedern auf einem StatefulSet verliert der Cluster seine Mehrheit, wenn ein Drain mit einem Mitglied zusammenfällt, das sich noch erholt. Das PodDisruptionBudget, das genau das verhindern soll, ist nur so gut wie das Readiness-Signal dahinter.
Herausforderung
Jedes monatliche Patch-Fenster führte zu 5 bis 15 Minuten fehlgeschlagener Publish-Vorgänge. Zwei der drei Broker-Pods landeten mitunter in derselben Availability Zone (AZ). Zudem prüfte die Readiness Probe nur, ob der AMQP-Port offen war. Ein neu gestartetes Mitglied wurde daher als bereit gemeldet, bevor es dem Cluster wieder beigetreten war. Der Drain ging dann zum nächsten Knoten über, und nach jedem Fenster mussten Engineers den Cluster manuell wiederherstellen.
Umgebung
Amazon EKS 1.34 mit Managed Node Groups über drei Availability Zones, ein RabbitMQ-Cluster mit drei Mitgliedern, betrieben über den RabbitMQ Cluster Operator, gp3-Volumes und Alerting mit Prometheus.
Vorgehen
AceMQ reproduzierte den Fehler auf einem Staging-Cluster, indem Knoten nacheinander gedrained und dabei die Mitgliedschaft der Quorum Queues beobachtet wurde. Anschließend wurden die drei Ebenen korrigiert, die den Ausfall ermöglicht hatten: Scheduling, Readiness und das Drain-Verfahren. Jede Änderung lief über das GitOps-Repository des Kunden und wurde mit einem skriptgesteuerten Drain getestet, bevor sie in Produktion ging.
Lösung
- Quorum-Verlust auf Staging mit einem skriptgesteuerten Rolling Drain reproduziert und den Status der Mitglieder bei jedem Schritt protokolliert
- Die Readiness-Prüfung auf offenen Port durch eine Prüfung ersetzt, die bestätigt, dass das Mitglied dem Cluster wieder beigetreten ist und seine Quorum Queues synchron sind
- Topology Spread Constraints und Pod Anti-Affinity ergänzt, sodass jedes Mitglied in einer anderen Availability Zone und auf einem anderen Knoten läuft
- Das PodDisruptionBudget so konfiguriert, dass zwei Mitglieder verfügbar bleiben, und geprüft, dass Drains es einhalten
- Updates der Managed Node Groups gestaffelt, mit einer Pause zwischen den Knoten, die auf die gemessene Wiederherstellungszeit abgestimmt ist
- Ein Runbook für Drain und Wiederherstellung für das Plattformteam erstellt, inklusive der Befehle, die den Status der Mitglieder bestätigen, bevor der nächste Knoten gedrained wird
Resultat
Die nächsten drei Patch-Fenster verliefen ohne einen einzigen fehlgeschlagenen Publish-Vorgang. Das Plattformteam plant Knoten-Updates jetzt während der Arbeitszeit, statt auf ein ruhiges Wochenende zu warten.