Retour à tous les cas d'usage

RemédiationMultisectoriel

Resynchroniser les réplicas et les maintenir à jour

Opérateur de marketplace e-commerce

Résoudre un retard des réplicas qui atteignait plusieurs heures pendant les fenêtres de traitement par lots, parce que l'application mono-thread ne suivait pas le rythme de grosses transactions multi-lignes.

Présentation

Un opérateur de marketplace servait la recherche de produits et le reporting depuis des réplicas en lecture. Pendant le rapprochement nocturne des stocks, le retard des réplicas dépassait le seuil au-delà duquel les lectures renvoyaient des données obsolètes que les clients remarquaient. AceMQ a été sollicité pour en trouver et en corriger la cause.

Défi

Le flux de réplication contenait de très grosses transactions uniques issues des traitements par lots, et l'application sur le réplica était de fait sérialisée derrière elles. La journalisation binaire en mode row amplifiait encore le volume, car les traitements mettaient à jour des lignes larges. Le trafic de lecture était routé vers les réplicas sans aucune prise en compte du retard, si bien que des données obsolètes atteignaient l'application sans que personne ne s'en aperçoive, jusqu'à ce que des clients les signalent.

Environnement

Topologie MySQL source et réplicas sur AWS, au service du catalogue, de la recherche et du reporting.

Approche

AceMQ a mesuré le débit d'application séparément de l'acheminement réseau pour établir où le retard s'accumulait, puis a traité les deux côtés : rendre le flux d'écriture plus facile à appliquer en parallèle, et rendre la couche de lecture consciente du retard pour qu'aucune donnée obsolète ne puisse être servie silencieusement.

Solution

  1. Distinction entre retard d'acheminement réseau et retard d'application, confirmant que le goulet d'étranglement était l'application sur le réplica et non le transport
  2. Activation de la réplication parallèle avec suivi des dépendances basé sur les writesets, et dimensionnement des threads workers selon le matériel
  3. Découpage des traitements par lots en transactions de taille bornée, pour qu'une seule instruction ne puisse plus sérialiser le flux d'application
  4. Revue du format du binary log et des paramètres de row image pour réduire le volume de réplication lié aux mises à jour de lignes larges
  5. Configuration d'un routage des lectures tenant compte du retard au niveau du proxy, pour retirer du pool de lecture les réplicas qui dépassent un seuil
  6. Ajout d'une alerte sur le retard d'application, distincte de la métrique seconds-behind-source existante

Résultat obtenu

Le retard maximal des réplicas pendant les fenêtres de traitement par lots est passé de plusieurs heures à bien moins d'une minute, et les lectures obsolètes n'atteignent plus les clients. Le routage tenant compte du retard se replie désormais en mode sûr, même lorsqu'un réplica prend effectivement du retard.

Technologies

MySQLProxySQLPrometheusLinux

Confronté à un incident de production MySQL ?

Les ingénieurs MySQL seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.