Überblick
WSO2-Produkte stützen sich stark auf gemeinsam genutzte Registry- und Konfigurationsdatenbanken. Bei parallelen Schreibvorgängen – einem koordinierten Neustart, einem Bulk-Deployment von APIs, einer großen Synchronisierung des User Store – kann die Sperrkonkurrenz in diesen Tabellen zu Deadlocks führen. Das sichtbare Symptom ist ein Knoten, der seinen Start nicht abschließt.
Herausforderung
Nach einem geplanten Wartungsneustart schlossen Gateway-Knoten ihren Start sporadisch nicht ab, und Bulk-Deployments von APIs blieben auf halber Strecke hängen. Die Datenbank-Logs zeigten Deadlocks auf Registry-Tabellen. Der Connection Pool war deutlich größer bemessen, als die Datenbank Verbindungen zuließ, sodass Retry-Stürme beim Start die Konkurrenz verschärften statt sie zu entschärfen.
Umgebung
WSO2 API Manager und Identity Server On-Premises, mit gemeinsamen Registry- und User-Store-Datenbanken auf PostgreSQL, verteilt auf mehrere Knoten.
Vorgehen
AceMQ korrelierte die Startsequenzen der Knoten mit den Deadlock-Logs der Datenbank, um die konkret umkämpften Tabellen und die beteiligten Operationen zu identifizieren. Anschließend wurde der Start der Knoten gestaffelt, die Pool-Größe an die tatsächlichen Datenbanklimits angepasst und das Bulk-Deployment auf eine kontrollierte Abfolge statt eines parallelen Schubs umgestellt. AceMQ stellt namentlich zugeordnete Senior Engineers mit 24/7-Abdeckung und ohne Tier-1-Triage.
Lösung
- Startsequenzen mit den Deadlock-Logs der Datenbank korreliert, um umkämpfte Registry-Tabellen zu identifizieren
- Connection Pools passend zum tatsächlichen Verbindungslimit der Datenbank dimensioniert
- Den Start der Knoten gestaffelt, damit nicht alle Knoten gleichzeitig den Registry-Zustand initialisieren
- Bulk-Deployments von APIs serialisiert, statt sie parallel abzusetzen
- Lock- und Statement-Timeouts auf Datenbankseite so getunt, dass Konkurrenz schnell fehlschlägt statt zu hängen
- Einen Ablauf für Wartungsneustarts dokumentiert, der die Konkurrenz nicht wieder einführt
Resultat
Wartungsneustarts laufen zuverlässig durch, und Bulk-Deployments von APIs schließen ab, ohne zu hängen. Deadlocks auf den Registry-Tabellen tauchen in den Datenbank-Logs nicht mehr auf.