Przegląd
Platforma płatnicza zaczęła odnotowywać kilkusekundowe przestoje przy zapisach, które wcześniej kończyły się w czasie liczonym w pojedynczych milisekundach. Metryki serwera pokazywały cache WiredTiger trwale utrzymujący się na progu wyzwalania eksmisji, przy czym do usuwania stron angażowane były wątki aplikacji. Inżynierowie AceMQ zostali wezwani w ramach docelowych czasów reakcji od 15 minut, zależnie od planu, i prowadzili incydent wspólnie z zespołem DBA klienta.
Wyzwanie
Zbiór roboczy przerósł przydział cache WiredTiger, więc chybienia przy odczytach wymuszały eksmisję brudnych stron na gorącej ścieżce. Gdy wątki aplikacji zaczęły uczestniczyć w eksmisji, opóźnienia rosły nieliniowo, a pule połączeń wyżej w łańcuchu się nasycały. Zespół traktował to jako problem sieciowy, ponieważ objaw ujawniał się jako przekroczenia czasu po stronie klienta, a nie jako wolne zapytania.
Środowisko
Zestawy replik MongoDB na bare metal, obsługujące usługę autoryzacji transakcji o dużym wolumenie.
Podejście
AceMQ zestawiło liczniki eksmisji z serverStatus, odsetek brudnych danych w cache i czas trwania checkpointów z histogramem opóźnień aplikacji, aby potwierdzić, że przyczyną źródłową jest eksmisja, a nie dysk czy sieć. Następnie prace podzielono na natychmiastowe zmniejszenie presji i trwałe poprawki indeksów i rozmiaru dokumentów, tak aby zbiór roboczy znów zmieścił się w cache.
Rozwiązanie
- Zestawienie liczników eksmisji WiredTiger, odsetka brudnych danych w cache i czasu trwania checkpointów z opóźnieniami po stronie klienta w celu wyizolowania rzeczywistego wąskiego gardła
- Ponowne dostrojenie cacheSizeGB do rzeczywistej pamięci hosta i limitów kontenerów zamiast domyślnej heurystyki połowy RAM
- Wskazanie i usunięcie zbędnych indeksów złożonych, które zajmowały cache, nie obsługując żadnego kształtu zapytań
- Przebudowa dwóch najcięższych kolekcji w celu zmniejszenia rozmiaru dokumentów i wyeliminowania nieograniczonego wzrostu tablic
- Dodanie presji eksmisji, odsetka brudnych danych w cache i czasu trwania checkpointów do bazowego zestawu alertów, aby stan ten był wychwytywany, zanim dotrze do wątków aplikacji
Efekt
Eksmisja wróciła do wątków w tle, a opóźnienia zapisów powróciły do normalnego zakresu, co całkowicie wyeliminowało przekroczenia czasu po stronie klientów. Klient ma teraz sygnał wczesnego ostrzegania o presji na cache i udokumentowany model wymiarowania na potrzeby przyszłego wzrostu danych.