Powrót do wszystkich studiów przypadków

Usuwanie problemówWiele branż

Przywrócenie synchronizacji replik i jej utrzymanie

Operator marketplace'u e-commerce

Usunięcie opóźnienia replik, które w oknach przetwarzania wsadowego rosło do kilku godzin, ponieważ jednowątkowe stosowanie zmian nie nadążało za dużymi transakcjami wielowierszowymi.

Przegląd

Operator marketplace'u obsługiwał wyszukiwanie produktów i raportowanie z replik do odczytu. Podczas nocnego uzgadniania stanów magazynowych opóźnienie replik rosło do poziomu, przy którym odczyty zwracały nieaktualne dane zauważalne dla klientów. AceMQ zostało zaangażowane, by znaleźć i usunąć przyczynę.

Wyzwanie

Strumień replikacji zawierał bardzo duże pojedyncze transakcje z zadań wsadowych, a stosowanie zmian na replice było w praktyce za nimi serializowane. Binarne logowanie oparte na wierszach dodatkowo zwiększało wolumen, ponieważ zadanie wsadowe aktualizowało szerokie wiersze. Ruch odczytowy był kierowany do replik bez uwzględniania opóźnienia, więc nieaktualne dane docierały do aplikacji niezauważone, dopóki nie zgłosili ich klienci.

Środowisko

Topologia MySQL źródło–repliki na AWS obsługująca obciążenia katalogu, wyszukiwania i raportowania.

Podejście

AceMQ zinstrumentowało przepustowość stosowania zmian oddzielnie od dostarczania sieciowego, aby ustalić, gdzie narasta opóźnienie, a następnie zajęło się obiema stronami: ułatwiło równoległe stosowanie strumienia zapisów i sprawiło, że warstwa odczytu uwzględnia opóźnienie, tak by nieaktualne dane nie mogły być serwowane po cichu.

Rozwiązanie

  1. Oddzielenie opóźnienia dostarczania sieciowego od opóźnienia stosowania zmian, aby potwierdzić, że wąskim gardłem jest stosowanie na replice, a nie transport
  2. Włączenie replikacji równoległej ze śledzeniem zależności opartym na writesetach i dobór liczby wątków roboczych do sprzętu
  3. Podział zadań wsadowych na transakcje o ograniczonym rozmiarze, aby pojedyncza instrukcja nie mogła serializować strumienia stosowania zmian
  4. Przegląd formatu logu binarnego i ustawień obrazu wiersza (row image) w celu ograniczenia wolumenu replikacji z aktualizacji szerokich wierszy
  5. Konfiguracja routingu odczytów uwzględniającego opóźnienie na poziomie proxy, dzięki któremu repliki po przekroczeniu progu są usuwane z puli odczytowej
  6. Dodanie alertów o opóźnieniu stosowania zmian, niezależnych od istniejącej metryki seconds-behind-source

Efekt

Szczytowe opóźnienie replik w oknach przetwarzania wsadowego spadło z kilku godzin do znacznie poniżej minuty, a nieaktualne odczyty przestały docierać do klientów. Routing uwzględniający opóźnienie działa teraz bezpiecznie także wtedy, gdy któraś replika jednak zostanie w tyle.

Technologie

MySQLProxySQLPrometheusLinux

Problem produkcyjny z MySQL?

Starsi inżynierowie MySQL w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.