Zurück zu allen Kundenbeispielen

SupportBehörden / Verteidigung

Registry-Deadlocks, die nur auftreten, wenn alles gleichzeitig neu startet

Behörde für Verwaltungsdienstleistungen

Behebung von Deadlocks in der Registry-Datenbank unter paralleler Last, die API-Deployments und den Start der Gateways von WSO2 sporadisch einfrieren ließen.

Überblick

WSO2-Produkte stützen sich stark auf gemeinsam genutzte Registry- und Konfigurationsdatenbanken. Bei parallelen Schreibvorgängen – einem koordinierten Neustart, einem Bulk-Deployment von APIs, einer großen Synchronisierung des User Store – kann die Sperrkonkurrenz in diesen Tabellen zu Deadlocks führen. Das sichtbare Symptom ist ein Knoten, der seinen Start nicht abschließt.

Herausforderung

Nach einem geplanten Wartungsneustart schlossen Gateway-Knoten ihren Start sporadisch nicht ab, und Bulk-Deployments von APIs blieben auf halber Strecke hängen. Die Datenbank-Logs zeigten Deadlocks auf Registry-Tabellen. Der Connection Pool war deutlich größer bemessen, als die Datenbank Verbindungen zuließ, sodass Retry-Stürme beim Start die Konkurrenz verschärften statt sie zu entschärfen.

Umgebung

WSO2 API Manager und Identity Server On-Premises, mit gemeinsamen Registry- und User-Store-Datenbanken auf PostgreSQL, verteilt auf mehrere Knoten.

Vorgehen

AceMQ korrelierte die Startsequenzen der Knoten mit den Deadlock-Logs der Datenbank, um die konkret umkämpften Tabellen und die beteiligten Operationen zu identifizieren. Anschließend wurde der Start der Knoten gestaffelt, die Pool-Größe an die tatsächlichen Datenbanklimits angepasst und das Bulk-Deployment auf eine kontrollierte Abfolge statt eines parallelen Schubs umgestellt. AceMQ stellt namentlich zugeordnete Senior Engineers mit 24/7-Abdeckung und ohne Tier-1-Triage.

Lösung

  1. Startsequenzen mit den Deadlock-Logs der Datenbank korreliert, um umkämpfte Registry-Tabellen zu identifizieren
  2. Connection Pools passend zum tatsächlichen Verbindungslimit der Datenbank dimensioniert
  3. Den Start der Knoten gestaffelt, damit nicht alle Knoten gleichzeitig den Registry-Zustand initialisieren
  4. Bulk-Deployments von APIs serialisiert, statt sie parallel abzusetzen
  5. Lock- und Statement-Timeouts auf Datenbankseite so getunt, dass Konkurrenz schnell fehlschlägt statt zu hängen
  6. Einen Ablauf für Wartungsneustarts dokumentiert, der die Konkurrenz nicht wieder einführt

Resultat

Wartungsneustarts laufen zuverlässig durch, und Bulk-Deployments von APIs schließen ab, ohne zu hängen. Deadlocks auf den Registry-Tabellen tauchen in den Datenbank-Logs nicht mehr auf.

Technologien

WSO2PostgreSQLKubernetesDocker

Brauchen Sie Expertensupport für WSO2?

Die Senior Engineers von AceMQ für WSO2 haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.