Überblick
Eine Buchungsplattform erlebte während der Verkaufsspitzen einen sprunghaften Anstieg von Deadlocks und Lock-Wait-Timeouts – genau dann, wenn Ausfälle am teuersten waren. Die Anwendung wiederholte fehlgeschlagene Operationen blind, was die Contention noch verstärkte. AceMQ übernahm den MySQL-Support mit namentlich zugeordneten Senior Engineers und direkter Eskalation.
Herausforderung
Lock-Contention in InnoDB lässt sich selten allein durch Tuning beheben; meist liegt sie an der Reihenfolge der Statements und am Transaktionsumfang im Anwendungscode. Erschwerend kam hinzu, dass ein Reporting-Job eine Read View über lange Zeit offen hielt. Dadurch wuchs die History List von InnoDB, und jede betroffene Abfrage musste längere Undo-Ketten durchlaufen. Unter Last verstärkten sich die beiden Probleme gegenseitig.
Umgebung
MySQL-Cluster über On-Premises- und Cloud-Kapazität hinweg, als Basis für Reservierungs- und Zahlungsabläufe.
Vorgehen
AceMQ wertete die Deadlock-Einträge und die Lock-Wait-Diagnosen aus, um die tatsächlich kollidierenden Statement-Paare zu identifizieren, und verfolgte sie bis zu den Anwendungstransaktionen zurück, die sie erzeugten. Die Korrekturen setzten bei Transaktionsumfang und Zugriffsreihenfolge an; Konfigurationsänderungen kamen nur dort zum Einsatz, wo sie wirklich halfen.
Lösung
- Deadlock-Einträge und Lock-Wait-Diagnosen analysiert, um die konkreten kollidierenden Statement-Paare zu identifizieren
- Konflikte bis zu den Anwendungstransaktionen zurückverfolgt und die verursachende Zugriffsreihenfolge auf Zeilen korrigiert
- Transaktionsumfang reduziert, sodass externe Aufrufe nicht mehr ausgeführt werden, während Row Locks gehalten werden
- Die lang laufende Read View des Reportings als Treiber der wachsenden History List identifiziert und auf ein dediziertes Replica verlagert
- Blinde Retries der Anwendung durch begrenzten Backoff ersetzt, damit sich die Contention nicht mehr selbst verstärkt
- 24/7-Eskalation zu Senior Engineers mit Reaktionszeitzielen ab 15 Minuten, je nach Plan, für Incidents in Spitzenzeiten etabliert
Resultat
Die Zahl der Deadlocks in Spitzenzeiten sank deutlich, und Lock-Wait-Timeouts sind heute die Ausnahme statt die Regel. Die Länge der History List bleibt konstant, womit der Overhead langer Undo-Ketten entfällt, der auch unbeteiligte Abfragen ausgebremst hatte.