Powrót do wszystkich studiów przypadków

Usuwanie problemówOprogramowanie / platformy cyfrowe

Liczba eviction rośnie, a cache raportuje nadmiar wolnej pamięci

Platforma handlu cyfrowego

Awaryjna naprawa warstwy Memcached, która usuwała gorące klucze, mimo że raportowała wolną pamięć — przyczyną był przydział pamięci do klas slabów.

Przegląd

Po zmianie formatu serializowanych obiektów współczynnik trafień cache platformy handlowej gwałtownie spadł, a liczba eviction mocno wzrosła, choć serwery raportowały niewykorzystaną pamięć. Wynikające z tego obciążenie przejęła baza danych, a za nim wzrosły czasy ładowania stron.

Wyzwanie

Memcached przydziela pamięć do klas slabów według rozmiaru elementów, a strona przypisana do danej klasy domyślnie już w niej pozostaje. Zmiana serializacji przesunęła typowy element do innej klasy rozmiaru niż ta, która trzymała niemal wszystkie przydzielone strony. Nowa klasa zapełniła się i niemal natychmiast zaczęła usuwać elementy, podczas gdy stara stała w większości pusta — to klasyczny objaw kalcyfikacji. Na każdym dashboardzie całkowite zużycie pamięci wyglądało dobrze, dlatego zespół wykluczył brak pojemności jako przyczynę.

Środowisko

Warstwa Memcached przed relacyjną bazą danych, służąca do cache'owania sesji i obiektów; serwery aplikacji na Kubernetes.

Podejście

Zamiast zagregowanych wartości pamięci przeanalizowaliśmy statystyki poszczególnych klas slabów, dzięki czemu nierównowaga stała się oczywista w ciągu kilku minut. Natychmiastową ulgę przyniosło włączenie rebalancingu slabów, aby strony mogły migrować między klasami. Trwałym rozwiązaniem było świadome wymiarowanie elementów i monitorowanie metryk, które faktycznie ujawniają ten tryb awarii.

Rozwiązanie

  1. Analiza statystyk poszczególnych klas slabów, która ujawniła sprzeczność między eviction a wolną pamięcią, ukrytą przez metryki zagregowane
  2. Włączenie automatycznego rebalancingu slabów, aby strony migrowały między klasami rozmiaru wraz ze zmianami obciążenia
  3. Przegląd współczynnika wzrostu (growth factor) i rozmiaru chunków względem rzeczywistego rozkładu rozmiarów elementów zamiast wartości domyślnych
  4. Zmniejszenie rozmiaru serializowanych obiektów w warstwie aplikacji, aby elementy przewidywalnie mieściły się w jednej klasie
  5. Dodanie monitoringu eviction i liczby stron w poszczególnych klasach w miejsce zagregowanego wykresu pamięci, który maskował problem
  6. Opracowanie procedury restartu i rozgrzewania cache, aby restart nie wywoływał lawiny zapytań do bazy danych

Efekt

W ciągu godziny współczynnik trafień wrócił do poprzedniego poziomu, a liczba eviction w gorącej klasie spadła niemal do zera. Obciążenie bazy danych odczytami wróciło do normy, a monitoring poszczególnych klas wykrył od tego czasu kolejne przesunięcie rozmiarów, zanim wywołało jakiekolwiek skutki.

Technologie

MemcachedLinuxMySQLKubernetes

Problem produkcyjny z Memcached?

Starsi inżynierowie Memcached w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.