Torna a tutti i casi d'uso

RemediationTrasversale

Riportare le repliche in sincronia e mantenercele

Operatore di marketplace e-commerce

Risoluzione di un lag delle repliche che arrivava a ore durante le finestre batch, perché l'apply a thread singolo non riusciva a tenere il passo con grandi transazioni multi-riga.

Panoramica

Un operatore di marketplace serviva la ricerca prodotti e il reporting dalle repliche di lettura. Durante la riconciliazione notturna dell'inventario, il lag delle repliche cresceva fino al punto in cui le letture restituivano dati obsoleti che i clienti notavano. AceMQ è stata coinvolta per individuare ed eliminare la causa.

Sfida

Il flusso di replica conteneva transazioni singole molto grandi provenienti dai job batch, e l'apply sulla replica veniva di fatto serializzato dietro di esse. Il binary logging basato sulle righe amplificava ulteriormente il volume, perché il batch aggiornava righe molto larghe. Il traffico di lettura veniva instradato verso le repliche senza alcuna consapevolezza del lag, quindi i dati obsoleti arrivavano all'applicazione senza essere notati, finché non erano i clienti a segnalarli.

Ambiente

Topologia MySQL source e replica su AWS a supporto di carichi di catalogo, ricerca e reporting.

Approccio

AceMQ ha strumentato il throughput di apply separatamente dalla consegna di rete per stabilire dove si accumulava il lag, poi è intervenuta su entrambi i fronti: rendere il flusso di scrittura più facile da applicare in parallelo e rendere il livello di lettura consapevole del lag, così che i dati obsoleti non potessero essere serviti senza che nessuno se ne accorgesse.

Soluzione

  1. Separazione del lag di consegna di rete dal lag di apply per confermare che il collo di bottiglia fosse l'apply sulla replica e non il trasporto
  2. Attivazione della replica parallela con tracciamento delle dipendenze basato su writeset e dimensionamento dei worker thread sull'hardware
  3. Suddivisione dei job batch in transazioni di dimensione limitata, così che una singola istruzione non possa serializzare il flusso di apply
  4. Revisione del formato del binary log e delle impostazioni di row image per ridurre il volume di replica dovuto agli aggiornamenti di righe larghe
  5. Configurazione sul proxy di un instradamento delle letture consapevole del lag, che rimuove dal pool di lettura le repliche oltre una soglia
  6. Aggiunta di alert sul lag di apply, distinti dalla metrica seconds-behind-source già esistente

Esito

Il picco di lag delle repliche durante le finestre batch è sceso da ore a ben meno di un minuto, e le letture obsolete hanno smesso di arrivare ai clienti. L'instradamento consapevole del lag ora fallisce in modo sicuro anche quando una replica resta indietro.

Tecnologie

MySQLProxySQLPrometheusLinux

Avete un problema di produzione su MySQL?

Gli ingegneri MySQL senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.