Zurück zu allen Kundenbeispielen

FehlerbehebungBranchenübergreifend

Replicas wieder synchron bringen – und dafür sorgen, dass sie es bleiben

Betreiber eines E-Commerce-Marktplatzes

Behebung eines Replica-Lags, der in Batch-Fenstern auf Stunden anwuchs, weil das single-threaded Apply mit großen mehrzeiligen Transaktionen nicht Schritt halten konnte.

Überblick

Ein Marktplatzbetreiber bediente Produktsuche und Reporting über Read Replicas. Während des nächtlichen Bestandsabgleichs wuchs der Replica-Lag so weit an, dass Lesezugriffe veraltete Daten lieferten, die den Kunden auffielen. AceMQ wurde beauftragt, die Ursache zu finden und zu beheben.

Herausforderung

Der Replikationsstrom enthielt sehr große Einzeltransaktionen aus Batch-Jobs, hinter denen das Apply auf der Replica praktisch serialisiert wurde. Zeilenbasiertes Binary Logging vergrößerte das Volumen zusätzlich, weil der Batch breite Zeilen aktualisierte. Lesetraffic wurde ohne jedes Bewusstsein für den Lag an die Replicas geroutet, sodass veraltete Daten unbemerkt die Anwendung erreichten, bis Kunden sie meldeten.

Umgebung

MySQL-Topologie aus Source und Replicas auf AWS für Katalog-, Such- und Reporting-Workloads.

Vorgehen

AceMQ instrumentierte den Apply-Durchsatz getrennt von der Netzwerkübertragung, um festzustellen, wo sich der Lag aufbaute, und setzte dann an beiden Seiten an: Der Schreibstrom wurde so gestaltet, dass er sich leichter parallel anwenden lässt, und die Leseschicht wurde Lag-bewusst gemacht, damit veraltete Daten nicht mehr stillschweigend ausgeliefert werden können.

Lösung

  1. Lag bei der Netzwerkübertragung vom Apply-Lag getrennt, um zu bestätigen, dass der Engpass das Apply auf der Replica war und nicht der Transport
  2. Parallele Replikation mit Writeset-basiertem Dependency Tracking aktiviert und die Worker-Threads passend zur Hardware dimensioniert
  3. Batch-Jobs in begrenzte Transaktionsgrößen aufgeteilt, damit ein einzelnes Statement den Apply-Strom nicht mehr serialisieren kann
  4. Binary-Log-Format und Row-Image-Einstellungen überprüft, um das Replikationsvolumen durch Updates breiter Zeilen zu senken
  5. Lag-bewusstes Read-Routing am Proxy konfiguriert, sodass Replicas über einem Schwellenwert aus dem Lese-Pool genommen werden
  6. Alerting auf den Apply-Lag ergänzt, getrennt von der bestehenden Metrik seconds-behind-source

Resultat

Der maximale Replica-Lag während der Batch-Fenster sank von Stunden auf deutlich unter eine Minute, und veraltete Lesezugriffe erreichen die Kunden nicht mehr. Das Lag-bewusste Routing greift jetzt auch dann sicher, wenn eine Replica doch einmal zurückfällt.

Technologien

MySQLProxySQLPrometheusLinux

Haben Sie ein Produktionsproblem mit MySQL?

Die Senior Engineers von AceMQ für MySQL haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.