Powrót do wszystkich studiów przypadków

Wsparcie techniczneOprogramowanie / platformy cyfrowe

Jak przetrwać moment, w którym cache robi się zimny

Platforma mediów cyfrowych

Stałe wsparcie techniczne dla warstwy Memcached podatnej na lawinowe obciążenie bazy danych (thundering herd) po zmianach węzłów i masowym wygasaniu kluczy.

Przegląd

Platforma mediów cyfrowych wielokrotnie doświadczała awarii bazy danych za każdym razem, gdy wymieniano węzeł Memcached lub gdy jednocześnie wygasała duża partia kluczy. AceMQ zapewnia stałe wsparcie obejmujące warstwę cache i otaczające ją wzorce aplikacyjne.

Wyzwanie

Utrata węzła w pierścieniu consistent hashing powoduje ponowne mapowanie jego części kluczy, a każdy przemapowany klucz od razu daje chybienie. Bez ochrony przed współbieżnym odtwarzaniem tysiące żądań jednocześnie przeliczały tę samą kosztowną wartość i nasycały bazę danych. To samo działo się przy masowym wygasaniu, bo klucze zapełniane razem podczas wdrożenia miały identyczny TTL, więc razem wygasały. Rutynowa konserwacja węzłów stała się problemem wymagającym zatwierdzania zmian.

Środowisko

Warstwa Memcached na AWS przed relacyjną bazą danych, serwery aplikacji na Kubernetes z częstymi wdrożeniami.

Podejście

Wsparcie obejmuje tu zarówno cache, jak i wzorce aplikacyjne, które z niego korzystają, bo ochrona przed stampede to kwestia aplikacji, której sam cache nie rozwiąże. Pracujemy z inżynierami klienta nad łączeniem żądań (request coalescing) i losowym rozrzutem TTL, a zmiany topologii węzłów zamieniamy w kontrolowaną operację zamiast zdarzenia.

Rozwiązanie

  1. Wsparcie 24/7 z docelowymi czasami reakcji od 15 minut, zależnie od planu, i przypisanymi starszymi inżynierami, którzy znają topologię cache i jego konsumentów
  2. Łączenie żądań w warstwie aplikacji, aby brakującą wartość odtwarzał tylko jeden wywołujący, a pozostali czekali
  3. Losowy rozrzut TTL, aby klucze zapełniane razem nie wygasały razem i nie powodowały masowego wygasania
  4. Przegląd konfiguracji consistent hashing, aby zmiany węzłów przemapowywały możliwie najmniejszą część kluczy
  5. Kontrolowana procedura dodawania i usuwania węzłów z wstępnym rozgrzewaniem cache, zastępująca nieplanowane wymiany
  6. Monitorowanie współczynnika trafień, eksmisji i chybień get dla każdego węzła, aby wychwycić degradujący się węzeł, zanim zostanie utracony

Efekt

Wymiana węzła nie powoduje już skoku obciążenia bazy danych, a masowe wygasanie kluczy zniknęło po wprowadzeniu rozrzutu TTL. Konserwacja cache z wydarzenia wymagającego zatwierdzania zmian wróciła do rutynowej eksploatacji.

Technologie

MemcachedLinuxPostgreSQLKubernetes

Potrzebują Państwo eksperckiego wsparcia Memcached?

Starsi inżynierowie Memcached w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.