Visão geral
Um operador de marketplace atendia a busca de produtos e os relatórios a partir de réplicas de leitura. Durante a reconciliação noturna de estoque, o lag das réplicas crescia a ponto de as leituras devolverem dados desatualizados que os clientes percebiam. A AceMQ foi acionada para encontrar e corrigir a causa.
Desafio
O fluxo de replicação continha transações únicas muito grandes vindas dos jobs em lote, e a aplicação na réplica ficava, na prática, serializada atrás delas. O binary log baseado em linhas aumentava ainda mais o volume, porque o lote atualizava linhas largas. O tráfego de leitura era direcionado às réplicas sem nenhuma consciência do lag, então os dados desatualizados chegavam à aplicação sem que ninguém percebesse, até os clientes reclamarem.
Ambiente
Topologia de source e réplicas MySQL na AWS, sustentando cargas de trabalho de catálogo, busca e relatórios.
Abordagem
A AceMQ instrumentou o throughput de aplicação separadamente da entrega pela rede para descobrir onde o lag se acumulava e, em seguida, atacou os dois lados: tornar o fluxo de escrita mais fácil de aplicar em paralelo e fazer a camada de leitura levar o lag em conta, para que dados desatualizados não pudessem ser servidos silenciosamente.
Solução
- Lag de entrega pela rede separado do lag de aplicação, para confirmar que o gargalo era a aplicação na réplica, e não o transporte
- Replicação paralela habilitada com rastreamento de dependências baseado em writeset e threads de worker dimensionadas para o hardware
- Jobs em lote divididos em transações de tamanho limitado, para que um único comando não pudesse serializar o fluxo de aplicação
- Revisão do formato do binary log e das configurações de row image para reduzir o volume de replicação gerado pelas atualizações de linhas largas
- Roteamento de leituras com consciência de lag configurado no proxy, para que réplicas acima de um limite sejam retiradas do pool de leitura
- Alertas de lag de aplicação adicionados, distintos da métrica existente de segundos de atraso em relação ao source
Resultado obtido
O pico de lag nas réplicas durante as janelas de lote caiu de horas para bem menos de um minuto, e as leituras desatualizadas deixaram de chegar aos clientes. O roteamento com consciência de lag agora falha de forma segura mesmo quando uma réplica fica para trás.