Visão geral
Uma plataforma de reservas via deadlocks e timeouts de lock wait dispararem nos períodos de pico de vendas, justamente quando as falhas custavam mais caro. A aplicação repetia os erros às cegas, o que ampliava a contenção. A AceMQ assumiu o suporte ao MySQL com engenheiros sêniores designados e escalonamento direto.
Desafio
A contenção de locks no InnoDB raramente se resolve só com tuning; normalmente ela vem da ordem das instruções e do escopo das transações no código da aplicação. Para complicar, um job de relatórios mantinha uma read view aberta por longos períodos, o que fazia a history list do InnoDB crescer e obrigava cada consulta afetada a percorrer cadeias de undo mais longas. Sob carga, um problema alimentava o outro.
Ambiente
Clusters MySQL distribuídos entre capacidade on-premises e em nuvem, sustentando fluxos de reservas e pagamentos.
Abordagem
A AceMQ analisou os registros de deadlock e os diagnósticos de lock wait para identificar os pares de instruções que realmente entravam em conflito e, depois, rastreou-os até as transações da aplicação que os geravam. As correções atacaram o escopo das transações e a ordem de acesso, e mudanças de configuração só foram usadas onde realmente ajudavam.
Solução
- Análise dos registros de deadlock e dos diagnósticos de lock wait para identificar os pares específicos de instruções em conflito
- Rastreamento dos conflitos até as transações da aplicação e correção da ordem de acesso às linhas que os provocava
- Redução do escopo das transações, para que chamadas externas deixassem de ser executadas enquanto locks de linha estavam ativos
- Identificação da read view de relatórios de longa duração que fazia a history list crescer e transferência dela para uma réplica dedicada
- Substituição das novas tentativas cegas da aplicação por backoff limitado, para que a contenção deixasse de se autoamplificar
- Estabelecimento de escalonamento 24/7 para engenheiros sêniores, com metas de resposta a partir de 15 minutos, conforme o plano, para incidentes nos períodos de pico
Resultado obtido
O volume de deadlocks nos períodos de pico caiu drasticamente, e os timeouts de lock wait passaram de rotina a raridade. O tamanho da history list agora se mantém estável, eliminando a sobrecarga das cadeias de undo que vinha degradando consultas sem relação com o problema.