Przegląd
Platforma licytacyjna działała w ramach sztywnego budżetu opóźnień na każde żądanie i cyklicznie przegrywała aukcje z powodu przekroczeń czasu. Średnie opóźnienie Redis wyglądało dobrze; p99.9 pokazywał skoki rzędu kilkuset milisekund pojawiające się w regularnych odstępach. AceMQ podjęło działania w ramach SLA dla zgłoszeń awaryjnych.
Wyzwanie
Odstęp między skokami odpowiadał harmonogramowi snapshotów RDB. Fork dużego procesu Redis kopiuje tablice stron, a przy włączonych transparent huge pages koszt copy-on-write po forku był zwielokrotniony — każdy zapis do współdzielonej dużej strony wymuszał skopiowanie dwóch megabajtów zamiast czterech kilobajtów. Efekt był niewidoczny w średnim opóźnieniu i ujawniał się dopiero w ogonie rozkładu, w którym działało to obciążenie.
Środowisko
Redis na hostach Linux bare-metal, obsługujący decyzje licytacyjne w czasie rzeczywistym w ramach rygorystycznego budżetu opóźnień.
Podejście
AceMQ skorelowało znaczniki czasu skoków z czasem trwania forka zapisanym w logach Redis oraz ze statystykami pamięci jądra, aby potwierdzić mechanizm, a nie tylko go wywnioskować. Poprawki objęły konfigurację hostów, strategię trwałości danych i zużycie pamięci, które sprawiało, że każdy fork był kosztowny.
Rozwiązanie
- Skorelowanie skoków opóźnień w ogonie rozkładu z zalogowanym czasem trwania forka i statystykami pamięci jądra w celu potwierdzenia mechanizmu
- Wyłączenie transparent huge pages na hostach Redis i weryfikacja wpływu zmiany na koszt forka
- Przeniesienie odpowiedzialności za snapshoty na repliki, aby instancja główna nie wykonywała już forka na ścieżce obsługi żądań
- Przegląd strategii trwałości i progów przepisywania w odniesieniu do rzeczywistych wymagań platformy dotyczących trwałości danych
- Zmniejszenie zużycia pamięci przez każdą instancję dzięki zmianom struktury kluczy, aby ewentualny pozostały fork był tańszy
- Instrumentacja percentyli opóźnień w ogonie rozkładu i czasu trwania forka jako pełnoprawnych, stale monitorowanych sygnałów
Efekt
Okresowe skoki w ogonie rozkładu zniknęły, a opóźnienie p99.9 wróciło do budżetu platformy. Ustały przekroczenia czasu w aukcjach przypisywane warstwie cache.