Powrót do wszystkich studiów przypadków

Usuwanie problemówOprogramowanie / platformy cyfrowe

Jak znaleźć skok opóźnienia widoczny tylko w p99.9

Platforma licytacji w czasie rzeczywistym (RTB)

Wyeliminowanie okresowych skoków opóźnień rzędu kilkuset milisekund, których źródłem były przestoje fork przy snapshotach RDB, potęgowane przez transparent huge pages.

Przegląd

Platforma licytacyjna działała w ramach sztywnego budżetu opóźnień na każde żądanie i cyklicznie przegrywała aukcje z powodu przekroczeń czasu. Średnie opóźnienie Redis wyglądało dobrze; p99.9 pokazywał skoki rzędu kilkuset milisekund pojawiające się w regularnych odstępach. AceMQ podjęło działania w ramach SLA dla zgłoszeń awaryjnych.

Wyzwanie

Odstęp między skokami odpowiadał harmonogramowi snapshotów RDB. Fork dużego procesu Redis kopiuje tablice stron, a przy włączonych transparent huge pages koszt copy-on-write po forku był zwielokrotniony — każdy zapis do współdzielonej dużej strony wymuszał skopiowanie dwóch megabajtów zamiast czterech kilobajtów. Efekt był niewidoczny w średnim opóźnieniu i ujawniał się dopiero w ogonie rozkładu, w którym działało to obciążenie.

Środowisko

Redis na hostach Linux bare-metal, obsługujący decyzje licytacyjne w czasie rzeczywistym w ramach rygorystycznego budżetu opóźnień.

Podejście

AceMQ skorelowało znaczniki czasu skoków z czasem trwania forka zapisanym w logach Redis oraz ze statystykami pamięci jądra, aby potwierdzić mechanizm, a nie tylko go wywnioskować. Poprawki objęły konfigurację hostów, strategię trwałości danych i zużycie pamięci, które sprawiało, że każdy fork był kosztowny.

Rozwiązanie

  1. Skorelowanie skoków opóźnień w ogonie rozkładu z zalogowanym czasem trwania forka i statystykami pamięci jądra w celu potwierdzenia mechanizmu
  2. Wyłączenie transparent huge pages na hostach Redis i weryfikacja wpływu zmiany na koszt forka
  3. Przeniesienie odpowiedzialności za snapshoty na repliki, aby instancja główna nie wykonywała już forka na ścieżce obsługi żądań
  4. Przegląd strategii trwałości i progów przepisywania w odniesieniu do rzeczywistych wymagań platformy dotyczących trwałości danych
  5. Zmniejszenie zużycia pamięci przez każdą instancję dzięki zmianom struktury kluczy, aby ewentualny pozostały fork był tańszy
  6. Instrumentacja percentyli opóźnień w ogonie rozkładu i czasu trwania forka jako pełnoprawnych, stale monitorowanych sygnałów

Efekt

Okresowe skoki w ogonie rozkładu zniknęły, a opóźnienie p99.9 wróciło do budżetu platformy. Ustały przekroczenia czasu w aukcjach przypisywane warstwie cache.

Technologie

RedisLinuxKubernetesPrometheus

Problem produkcyjny z Redis?

Starsi inżynierowie Redis w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.