Przegląd
Platforma rezerwacyjna odnotowywała skoki liczby zakleszczeń i przekroczeń czasu oczekiwania na blokady w szczytowych okresach sprzedaży — dokładnie wtedy, gdy awarie były najkosztowniejsze. Aplikacja ponawiała błędy na ślepo, co potęgowało rywalizację. AceMQ przejęło wsparcie MySQL z przypisanymi starszymi inżynierami i bezpośrednią eskalacją.
Wyzwanie
Rywalizacji o blokady w InnoDB rzadko da się zaradzić samym strojeniem; zwykle wynika z kolejności instrukcji i zakresu transakcji w kodzie aplikacji. Dodatkowo zadanie raportowe przez długi czas utrzymywało otwarty read view, przez co history list InnoDB rosła, a każde dotknięte zapytanie musiało przechodzić przez coraz dłuższe łańcuchy undo. Pod obciążeniem oba problemy wzajemnie się nasilały.
Środowisko
Klastry MySQL obejmujące zasoby lokalne i chmurowe, obsługujące procesy rezerwacji i płatności.
Podejście
AceMQ przeanalizowało zapisy zakleszczeń i diagnostykę oczekiwania na blokady, aby wskazać faktyczne pary kolidujących instrukcji, a następnie prześledziło je aż do transakcji aplikacji, które je generowały. Poprawki dotyczyły zakresu transakcji i kolejności dostępu, a zmiany konfiguracji stosowano tylko tam, gdzie rzeczywiście pomagały.
Rozwiązanie
- Analiza zapisów zakleszczeń i diagnostyki oczekiwania na blokady w celu wskazania konkretnych par kolidujących instrukcji
- Prześledzenie konfliktów aż do transakcji aplikacji i poprawa kolejności dostępu do wierszy, która je powodowała
- Zawężenie zakresu transakcji tak, aby wywołania zewnętrzne nie były już wykonywane w czasie utrzymywania blokad na wierszach
- Wskazanie długotrwałego read view zadania raportowego, który powodował wzrost history list, i przeniesienie go na dedykowaną replikę
- Zastąpienie ślepych ponowień w aplikacji ograniczonym backoffem, aby rywalizacja przestała się sama nakręcać
- Zapewnienie eskalacji 24/7 do starszych inżynierów z docelowymi czasami reakcji od 15 minut, zależnie od planu, przy incydentach w okresach szczytu
Efekt
Liczba zakleszczeń w okresach szczytu gwałtownie spadła, a przekroczenia czasu oczekiwania na blokady stały się rzadkością, a nie codziennością. Długość history list utrzymuje się teraz na stałym poziomie, co usunęło narzut łańcuchów undo, który spowalniał niezwiązane zapytania.