Descripción general
Una plataforma de reservas veía cómo los deadlocks y los timeouts de espera de bloqueos se disparaban en los periodos de máximas ventas, justo cuando los fallos salían más caros. La aplicación reintentaba los errores a ciegas, lo que amplificaba la contención. AceMQ asumió el soporte de MySQL con ingenieros sénior asignados y escalado directo.
Reto
La contención de bloqueos en InnoDB rara vez se resuelve solo con ajustes; suele deberse al orden de las sentencias y al alcance de las transacciones en el código de la aplicación. Para complicar las cosas, un job de informes mantenía abierta una read view durante largos periodos, lo que hacía crecer la history list de InnoDB y obligaba a cada consulta afectada a recorrer cadenas de undo más largas. Bajo carga, ambos problemas se reforzaban mutuamente.
Entorno
Clústeres de MySQL repartidos entre capacidad on-premises y en la nube, que dan soporte a los flujos de reservas y pagos.
Enfoque
AceMQ leyó los registros de deadlocks y los diagnósticos de espera de bloqueos para identificar los pares reales de sentencias en conflicto y, después, los rastreó hasta las transacciones de la aplicación que los producían. Las correcciones se centraron en el alcance de las transacciones y el orden de acceso, y los cambios de configuración solo se usaron donde realmente ayudaban.
Solución
- Análisis de los registros de deadlocks y los diagnósticos de espera de bloqueos para identificar los pares concretos de sentencias en conflicto
- Rastreo de los conflictos hasta las transacciones de la aplicación y corrección del orden de acceso a filas que los provocaba
- Reducción del alcance de las transacciones para que las llamadas externas dejaran de ejecutarse mientras se mantenían bloqueos de fila
- Identificación de la read view de larga duración del job de informes que hacía crecer la history list y traslado de ese job a una réplica dedicada
- Sustitución de los reintentos ciegos de la aplicación por un backoff acotado para que la contención dejara de amplificarse a sí misma
- Escalado 24/7 a ingenieros sénior con objetivos de respuesta desde 15 minutos, según el plan, para los incidentes en periodos de máxima actividad
Resultado final
El volumen de deadlocks en los periodos de máxima actividad cayó de forma drástica y los timeouts de espera de bloqueos pasaron de ser rutinarios a ser excepcionales. La longitud de la history list se mantiene ahora estable, lo que elimina la sobrecarga de las cadenas de undo que degradaba consultas ajenas al problema.