Powrót do wszystkich studiów przypadków

Usuwanie problemówUsługi finansowe / płatności

Zatrzymanie młócenia eksmisji w WiredTiger, zanim zablokuje warstwę aplikacji

Globalny operator płatności

Diagnoza i usunięcie przestojów aplikacji spowodowanych przez zbiór roboczy, który przerósł cache WiredTiger i wprowadził serwer w stan ciągłej presji eksmisji.

Przegląd

Platforma płatnicza zaczęła odnotowywać kilkusekundowe przestoje przy zapisach, które wcześniej kończyły się w czasie liczonym w pojedynczych milisekundach. Metryki serwera pokazywały cache WiredTiger trwale utrzymujący się na progu wyzwalania eksmisji, przy czym do usuwania stron angażowane były wątki aplikacji. Inżynierowie AceMQ zostali wezwani w ramach docelowych czasów reakcji od 15 minut, zależnie od planu, i prowadzili incydent wspólnie z zespołem DBA klienta.

Wyzwanie

Zbiór roboczy przerósł przydział cache WiredTiger, więc chybienia przy odczytach wymuszały eksmisję brudnych stron na gorącej ścieżce. Gdy wątki aplikacji zaczęły uczestniczyć w eksmisji, opóźnienia rosły nieliniowo, a pule połączeń wyżej w łańcuchu się nasycały. Zespół traktował to jako problem sieciowy, ponieważ objaw ujawniał się jako przekroczenia czasu po stronie klienta, a nie jako wolne zapytania.

Środowisko

Zestawy replik MongoDB na bare metal, obsługujące usługę autoryzacji transakcji o dużym wolumenie.

Podejście

AceMQ zestawiło liczniki eksmisji z serverStatus, odsetek brudnych danych w cache i czas trwania checkpointów z histogramem opóźnień aplikacji, aby potwierdzić, że przyczyną źródłową jest eksmisja, a nie dysk czy sieć. Następnie prace podzielono na natychmiastowe zmniejszenie presji i trwałe poprawki indeksów i rozmiaru dokumentów, tak aby zbiór roboczy znów zmieścił się w cache.

Rozwiązanie

  1. Zestawienie liczników eksmisji WiredTiger, odsetka brudnych danych w cache i czasu trwania checkpointów z opóźnieniami po stronie klienta w celu wyizolowania rzeczywistego wąskiego gardła
  2. Ponowne dostrojenie cacheSizeGB do rzeczywistej pamięci hosta i limitów kontenerów zamiast domyślnej heurystyki połowy RAM
  3. Wskazanie i usunięcie zbędnych indeksów złożonych, które zajmowały cache, nie obsługując żadnego kształtu zapytań
  4. Przebudowa dwóch najcięższych kolekcji w celu zmniejszenia rozmiaru dokumentów i wyeliminowania nieograniczonego wzrostu tablic
  5. Dodanie presji eksmisji, odsetka brudnych danych w cache i czasu trwania checkpointów do bazowego zestawu alertów, aby stan ten był wychwytywany, zanim dotrze do wątków aplikacji

Efekt

Eksmisja wróciła do wątków w tle, a opóźnienia zapisów powróciły do normalnego zakresu, co całkowicie wyeliminowało przekroczenia czasu po stronie klientów. Klient ma teraz sygnał wczesnego ostrzegania o presji na cache i udokumentowany model wymiarowania na potrzeby przyszłego wzrostu danych.

Technologie

MongoDBKubernetesPrometheusLinux

Problem produkcyjny z MongoDB?

Starsi inżynierowie MongoDB w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.