Voltar para todos os casos de uso

CorreçãoMultissetorial

Colocar as réplicas de volta em sincronia e mantê-las assim

Operador de marketplace de e-commerce

Resolução de um lag nas réplicas que chegava a horas durante as janelas de processamento em lote, porque a aplicação em thread única não acompanhava as grandes transações de várias linhas.

Visão geral

Um operador de marketplace atendia a busca de produtos e os relatórios a partir de réplicas de leitura. Durante a reconciliação noturna de estoque, o lag das réplicas crescia a ponto de as leituras devolverem dados desatualizados que os clientes percebiam. A AceMQ foi acionada para encontrar e corrigir a causa.

Desafio

O fluxo de replicação continha transações únicas muito grandes vindas dos jobs em lote, e a aplicação na réplica ficava, na prática, serializada atrás delas. O binary log baseado em linhas aumentava ainda mais o volume, porque o lote atualizava linhas largas. O tráfego de leitura era direcionado às réplicas sem nenhuma consciência do lag, então os dados desatualizados chegavam à aplicação sem que ninguém percebesse, até os clientes reclamarem.

Ambiente

Topologia de source e réplicas MySQL na AWS, sustentando cargas de trabalho de catálogo, busca e relatórios.

Abordagem

A AceMQ instrumentou o throughput de aplicação separadamente da entrega pela rede para descobrir onde o lag se acumulava e, em seguida, atacou os dois lados: tornar o fluxo de escrita mais fácil de aplicar em paralelo e fazer a camada de leitura levar o lag em conta, para que dados desatualizados não pudessem ser servidos silenciosamente.

Solução

  1. Lag de entrega pela rede separado do lag de aplicação, para confirmar que o gargalo era a aplicação na réplica, e não o transporte
  2. Replicação paralela habilitada com rastreamento de dependências baseado em writeset e threads de worker dimensionadas para o hardware
  3. Jobs em lote divididos em transações de tamanho limitado, para que um único comando não pudesse serializar o fluxo de aplicação
  4. Revisão do formato do binary log e das configurações de row image para reduzir o volume de replicação gerado pelas atualizações de linhas largas
  5. Roteamento de leituras com consciência de lag configurado no proxy, para que réplicas acima de um limite sejam retiradas do pool de leitura
  6. Alertas de lag de aplicação adicionados, distintos da métrica existente de segundos de atraso em relação ao source

Resultado obtido

O pico de lag nas réplicas durante as janelas de lote caiu de horas para bem menos de um minuto, e as leituras desatualizadas deixaram de chegar aos clientes. O roteamento com consciência de lag agora falha de forma segura mesmo quando uma réplica fica para trás.

Tecnologias

MySQLProxySQLPrometheusLinux

Enfrentando um problema de produção com MySQL?

Os engenheiros MySQL sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.