Przegląd
Po zmianie formatu serializowanych obiektów współczynnik trafień cache platformy handlowej gwałtownie spadł, a liczba eviction mocno wzrosła, choć serwery raportowały niewykorzystaną pamięć. Wynikające z tego obciążenie przejęła baza danych, a za nim wzrosły czasy ładowania stron.
Wyzwanie
Memcached przydziela pamięć do klas slabów według rozmiaru elementów, a strona przypisana do danej klasy domyślnie już w niej pozostaje. Zmiana serializacji przesunęła typowy element do innej klasy rozmiaru niż ta, która trzymała niemal wszystkie przydzielone strony. Nowa klasa zapełniła się i niemal natychmiast zaczęła usuwać elementy, podczas gdy stara stała w większości pusta — to klasyczny objaw kalcyfikacji. Na każdym dashboardzie całkowite zużycie pamięci wyglądało dobrze, dlatego zespół wykluczył brak pojemności jako przyczynę.
Środowisko
Warstwa Memcached przed relacyjną bazą danych, służąca do cache'owania sesji i obiektów; serwery aplikacji na Kubernetes.
Podejście
Zamiast zagregowanych wartości pamięci przeanalizowaliśmy statystyki poszczególnych klas slabów, dzięki czemu nierównowaga stała się oczywista w ciągu kilku minut. Natychmiastową ulgę przyniosło włączenie rebalancingu slabów, aby strony mogły migrować między klasami. Trwałym rozwiązaniem było świadome wymiarowanie elementów i monitorowanie metryk, które faktycznie ujawniają ten tryb awarii.
Rozwiązanie
- Analiza statystyk poszczególnych klas slabów, która ujawniła sprzeczność między eviction a wolną pamięcią, ukrytą przez metryki zagregowane
- Włączenie automatycznego rebalancingu slabów, aby strony migrowały między klasami rozmiaru wraz ze zmianami obciążenia
- Przegląd współczynnika wzrostu (growth factor) i rozmiaru chunków względem rzeczywistego rozkładu rozmiarów elementów zamiast wartości domyślnych
- Zmniejszenie rozmiaru serializowanych obiektów w warstwie aplikacji, aby elementy przewidywalnie mieściły się w jednej klasie
- Dodanie monitoringu eviction i liczby stron w poszczególnych klasach w miejsce zagregowanego wykresu pamięci, który maskował problem
- Opracowanie procedury restartu i rozgrzewania cache, aby restart nie wywoływał lawiny zapytań do bazy danych
Efekt
W ciągu godziny współczynnik trafień wrócił do poprzedniego poziomu, a liczba eviction w gorącej klasie spadła niemal do zera. Obciążenie bazy danych odczytami wróciło do normy, a monitoring poszczególnych klas wykrył od tego czasu kolejne przesunięcie rozmiarów, zanim wywołało jakiekolwiek skutki.