Présentation
Une plateforme de réservation voyait les deadlocks et les dépassements de délai d'attente de verrous s'envoler pendant les pics de ventes, précisément au moment où les échecs coûtaient le plus cher. L'application relançait les erreurs à l'aveugle, ce qui amplifiait la contention. AceMQ a repris le support MySQL avec des ingénieurs seniors attitrés et une escalade directe.
Défi
La contention de verrous InnoDB se règle rarement par le seul tuning ; elle vient généralement de l'ordre des instructions et de la portée des transactions dans le code applicatif. Pour compliquer les choses, un job de reporting maintenait une read view ouverte pendant de longues périodes, ce qui faisait croître la history list InnoDB et obligeait chaque requête concernée à parcourir des chaînes d'undo plus longues. Sous charge, les deux problèmes se renforçaient mutuellement.
Environnement
Clusters MySQL répartis entre on-premise et cloud, au service des parcours de réservation et de paiement.
Approche
AceMQ a analysé les enregistrements de deadlocks et les diagnostics d'attente de verrous pour identifier les paires d'instructions réellement en conflit, puis les a rattachées aux transactions applicatives qui les produisaient. Les correctifs ont porté sur la portée des transactions et l'ordre d'accès, les changements de configuration n'étant utilisés que là où ils apportaient un réel bénéfice.
Solution
- Analyse des enregistrements de deadlocks et des diagnostics d'attente de verrous pour identifier précisément les paires d'instructions en conflit
- Rattachement des conflits aux transactions applicatives et correction de l'ordre d'accès aux lignes qui les provoquait
- Réduction de la portée des transactions pour que les appels externes ne s'exécutent plus pendant la détention de verrous de ligne
- Identification de la read view du reporting longue durée à l'origine de la croissance de la history list et déplacement de ce job vers un réplica dédié
- Remplacement des relances applicatives à l'aveugle par un backoff borné pour que la contention ne s'auto-entretienne plus
- Mise en place d'une escalade 24/7 vers des ingénieurs seniors avec des objectifs de réponse à partir de 15 minutes, selon le plan, pour les incidents en période de pic
Résultat obtenu
Le volume de deadlocks en période de pic a fortement baissé et les dépassements de délai d'attente de verrous sont devenus rares au lieu d'être routiniers. La longueur de la history list reste désormais stable, ce qui supprime le surcoût des chaînes d'undo qui dégradait des requêtes sans rapport.