Panoramica
Una piattaforma di prenotazioni registrava picchi di deadlock e lock wait timeout durante i periodi di vendita più intensi, proprio quando gli errori costavano di più. Gli errori venivano ritentati alla cieca dall'applicazione, il che amplificava la contesa. AceMQ ha preso in carico il supporto MySQL con ingegneri senior dedicati ed escalation diretta.
Sfida
La contesa dei lock InnoDB si risolve raramente con il solo tuning: di solito deriva dall'ordine delle istruzioni e dall'ambito delle transazioni nel codice applicativo. A complicare le cose, un job di reporting teneva aperta una read view per lunghi periodi, facendo crescere la history list di InnoDB e costringendo ogni query interessata a percorrere catene di undo più lunghe. Sotto carico, i due problemi si rafforzavano a vicenda.
Ambiente
Cluster MySQL distribuiti tra capacità on-premises e in cloud, a supporto dei flussi di prenotazione e pagamento.
Approccio
AceMQ ha letto i record dei deadlock e la diagnostica dei lock wait per individuare le coppie di istruzioni effettivamente in conflitto, quindi le ha ricondotte alle transazioni applicative che le generavano. Le correzioni hanno riguardato l'ambito delle transazioni e l'ordine di accesso, ricorrendo a modifiche di configurazione solo dove erano davvero utili.
Soluzione
- Analizzati i record dei deadlock e la diagnostica dei lock wait per individuare le specifiche coppie di istruzioni in conflitto
- Conflitti ricondotti alle transazioni applicative, con la correzione dell'ordine di accesso alle righe che li causava
- Ridotto l'ambito delle transazioni, così che le chiamate esterne non vengano più eseguite mentre i lock sulle righe sono attivi
- Individuata la read view di reporting di lunga durata che faceva crescere la history list e spostata su una replica dedicata
- Sostituiti i retry ciechi dell'applicazione con un backoff limitato, così che la contesa non si autoalimenti più
- Definita un'escalation 24/7 verso ingegneri senior con obiettivi di risposta da 15 minuti, in base al piano, per gli incidenti nei periodi di picco
Esito
Il volume di deadlock nei periodi di picco è calato drasticamente e i lock wait timeout sono diventati un'eccezione anziché la norma. La lunghezza della history list resta ora stabile, eliminando l'overhead delle catene di undo che degradava query estranee al problema.