Zurück zu allen Kundenbeispielen

SupportFinanzdienstleistungen / Zahlungsverkehr

Routinemäßiges Patching der Knoten legte immer wieder den Messaging-Cluster lahm

Regionaler Zahlungsdienstleister

Wie ein RabbitMQ-Cluster mit drei Mitgliedern nicht mehr bei jedem Drain der EKS-Knotengruppen für das Patching sein Quorum verlor: durch korrigierte Readiness, Topology Spread, Disruption Budgets und ein überarbeitetes Drain-Verfahren.

Überblick

Bei Upgrades von Managed Node Groups auf EKS werden die Knoten nacheinander gedrained. Bei einem Quorum-Cluster mit drei Mitgliedern auf einem StatefulSet verliert der Cluster seine Mehrheit, wenn ein Drain mit einem Mitglied zusammenfällt, das sich noch erholt. Das PodDisruptionBudget, das genau das verhindern soll, ist nur so gut wie das Readiness-Signal dahinter.

Herausforderung

Jedes monatliche Patch-Fenster führte zu 5 bis 15 Minuten fehlgeschlagener Publish-Vorgänge. Zwei der drei Broker-Pods landeten mitunter in derselben Availability Zone (AZ). Zudem prüfte die Readiness Probe nur, ob der AMQP-Port offen war. Ein neu gestartetes Mitglied wurde daher als bereit gemeldet, bevor es dem Cluster wieder beigetreten war. Der Drain ging dann zum nächsten Knoten über, und nach jedem Fenster mussten Engineers den Cluster manuell wiederherstellen.

Umgebung

Amazon EKS 1.34 mit Managed Node Groups über drei Availability Zones, ein RabbitMQ-Cluster mit drei Mitgliedern, betrieben über den RabbitMQ Cluster Operator, gp3-Volumes und Alerting mit Prometheus.

Vorgehen

AceMQ reproduzierte den Fehler auf einem Staging-Cluster, indem Knoten nacheinander gedrained und dabei die Mitgliedschaft der Quorum Queues beobachtet wurde. Anschließend wurden die drei Ebenen korrigiert, die den Ausfall ermöglicht hatten: Scheduling, Readiness und das Drain-Verfahren. Jede Änderung lief über das GitOps-Repository des Kunden und wurde mit einem skriptgesteuerten Drain getestet, bevor sie in Produktion ging.

Lösung

  1. Quorum-Verlust auf Staging mit einem skriptgesteuerten Rolling Drain reproduziert und den Status der Mitglieder bei jedem Schritt protokolliert
  2. Die Readiness-Prüfung auf offenen Port durch eine Prüfung ersetzt, die bestätigt, dass das Mitglied dem Cluster wieder beigetreten ist und seine Quorum Queues synchron sind
  3. Topology Spread Constraints und Pod Anti-Affinity ergänzt, sodass jedes Mitglied in einer anderen Availability Zone und auf einem anderen Knoten läuft
  4. Das PodDisruptionBudget so konfiguriert, dass zwei Mitglieder verfügbar bleiben, und geprüft, dass Drains es einhalten
  5. Updates der Managed Node Groups gestaffelt, mit einer Pause zwischen den Knoten, die auf die gemessene Wiederherstellungszeit abgestimmt ist
  6. Ein Runbook für Drain und Wiederherstellung für das Plattformteam erstellt, inklusive der Befehle, die den Status der Mitglieder bestätigen, bevor der nächste Knoten gedrained wird

Resultat

Die nächsten drei Patch-Fenster verliefen ohne einen einzigen fehlgeschlagenen Publish-Vorgang. Das Plattformteam plant Knoten-Updates jetzt während der Arbeitszeit, statt auf ein ruhiges Wochenende zu warten.

Technologien

KubernetesRabbitMQAmazon EKSPodDisruptionBudgets

Brauchen Sie Expertensupport für Kubernetes?

Die Senior Engineers von AceMQ für Kubernetes haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.