Überblick
Ein Marktplatzbetreiber bediente Produktsuche und Reporting über Read Replicas. Während des nächtlichen Bestandsabgleichs wuchs der Replica-Lag so weit an, dass Lesezugriffe veraltete Daten lieferten, die den Kunden auffielen. AceMQ wurde beauftragt, die Ursache zu finden und zu beheben.
Herausforderung
Der Replikationsstrom enthielt sehr große Einzeltransaktionen aus Batch-Jobs, hinter denen das Apply auf der Replica praktisch serialisiert wurde. Zeilenbasiertes Binary Logging vergrößerte das Volumen zusätzlich, weil der Batch breite Zeilen aktualisierte. Lesetraffic wurde ohne jedes Bewusstsein für den Lag an die Replicas geroutet, sodass veraltete Daten unbemerkt die Anwendung erreichten, bis Kunden sie meldeten.
Umgebung
MySQL-Topologie aus Source und Replicas auf AWS für Katalog-, Such- und Reporting-Workloads.
Vorgehen
AceMQ instrumentierte den Apply-Durchsatz getrennt von der Netzwerkübertragung, um festzustellen, wo sich der Lag aufbaute, und setzte dann an beiden Seiten an: Der Schreibstrom wurde so gestaltet, dass er sich leichter parallel anwenden lässt, und die Leseschicht wurde Lag-bewusst gemacht, damit veraltete Daten nicht mehr stillschweigend ausgeliefert werden können.
Lösung
- Lag bei der Netzwerkübertragung vom Apply-Lag getrennt, um zu bestätigen, dass der Engpass das Apply auf der Replica war und nicht der Transport
- Parallele Replikation mit Writeset-basiertem Dependency Tracking aktiviert und die Worker-Threads passend zur Hardware dimensioniert
- Batch-Jobs in begrenzte Transaktionsgrößen aufgeteilt, damit ein einzelnes Statement den Apply-Strom nicht mehr serialisieren kann
- Binary-Log-Format und Row-Image-Einstellungen überprüft, um das Replikationsvolumen durch Updates breiter Zeilen zu senken
- Lag-bewusstes Read-Routing am Proxy konfiguriert, sodass Replicas über einem Schwellenwert aus dem Lese-Pool genommen werden
- Alerting auf den Apply-Lag ergänzt, getrennt von der bestehenden Metrik seconds-behind-source
Resultat
Der maximale Replica-Lag während der Batch-Fenster sank von Stunden auf deutlich unter eine Minute, und veraltete Lesezugriffe erreichen die Kunden nicht mehr. Das Lag-bewusste Routing greift jetzt auch dann sicher, wenn eine Replica doch einmal zurückfällt.