Powrót do wszystkich studiów przypadków

Wsparcie techniczneWiele branż

Wsparcie 24/7 od starszych inżynierów MySQL z docelowymi czasami reakcji od 15 minut, zależnie od planu

Platforma rezerwacji podróży

Stałe wsparcie techniczne przy zakleszczeniach i przekroczeniach czasu oczekiwania na blokady przy współbieżnych rezerwacjach, w tym przy wzroście history list spowodowanym długotrwałymi transakcjami.

Przegląd

Platforma rezerwacyjna odnotowywała skoki liczby zakleszczeń i przekroczeń czasu oczekiwania na blokady w szczytowych okresach sprzedaży — dokładnie wtedy, gdy awarie były najkosztowniejsze. Aplikacja ponawiała błędy na ślepo, co potęgowało rywalizację. AceMQ przejęło wsparcie MySQL z przypisanymi starszymi inżynierami i bezpośrednią eskalacją.

Wyzwanie

Rywalizacji o blokady w InnoDB rzadko da się zaradzić samym strojeniem; zwykle wynika z kolejności instrukcji i zakresu transakcji w kodzie aplikacji. Dodatkowo zadanie raportowe przez długi czas utrzymywało otwarty read view, przez co history list InnoDB rosła, a każde dotknięte zapytanie musiało przechodzić przez coraz dłuższe łańcuchy undo. Pod obciążeniem oba problemy wzajemnie się nasilały.

Środowisko

Klastry MySQL obejmujące zasoby lokalne i chmurowe, obsługujące procesy rezerwacji i płatności.

Podejście

AceMQ przeanalizowało zapisy zakleszczeń i diagnostykę oczekiwania na blokady, aby wskazać faktyczne pary kolidujących instrukcji, a następnie prześledziło je aż do transakcji aplikacji, które je generowały. Poprawki dotyczyły zakresu transakcji i kolejności dostępu, a zmiany konfiguracji stosowano tylko tam, gdzie rzeczywiście pomagały.

Rozwiązanie

  1. Analiza zapisów zakleszczeń i diagnostyki oczekiwania na blokady w celu wskazania konkretnych par kolidujących instrukcji
  2. Prześledzenie konfliktów aż do transakcji aplikacji i poprawa kolejności dostępu do wierszy, która je powodowała
  3. Zawężenie zakresu transakcji tak, aby wywołania zewnętrzne nie były już wykonywane w czasie utrzymywania blokad na wierszach
  4. Wskazanie długotrwałego read view zadania raportowego, który powodował wzrost history list, i przeniesienie go na dedykowaną replikę
  5. Zastąpienie ślepych ponowień w aplikacji ograniczonym backoffem, aby rywalizacja przestała się sama nakręcać
  6. Zapewnienie eskalacji 24/7 do starszych inżynierów z docelowymi czasami reakcji od 15 minut, zależnie od planu, przy incydentach w okresach szczytu

Efekt

Liczba zakleszczeń w okresach szczytu gwałtownie spadła, a przekroczenia czasu oczekiwania na blokady stały się rzadkością, a nie codziennością. Długość history list utrzymuje się teraz na stałym poziomie, co usunęło narzut łańcuchów undo, który spowalniał niezwiązane zapytania.

Technologie

MySQLProxySQLPrometheusKubernetes

Potrzebują Państwo eksperckiego wsparcia MySQL?

Starsi inżynierowie MySQL w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.