Przegląd
Platforma mediów cyfrowych wielokrotnie doświadczała awarii bazy danych za każdym razem, gdy wymieniano węzeł Memcached lub gdy jednocześnie wygasała duża partia kluczy. AceMQ zapewnia stałe wsparcie obejmujące warstwę cache i otaczające ją wzorce aplikacyjne.
Wyzwanie
Utrata węzła w pierścieniu consistent hashing powoduje ponowne mapowanie jego części kluczy, a każdy przemapowany klucz od razu daje chybienie. Bez ochrony przed współbieżnym odtwarzaniem tysiące żądań jednocześnie przeliczały tę samą kosztowną wartość i nasycały bazę danych. To samo działo się przy masowym wygasaniu, bo klucze zapełniane razem podczas wdrożenia miały identyczny TTL, więc razem wygasały. Rutynowa konserwacja węzłów stała się problemem wymagającym zatwierdzania zmian.
Środowisko
Warstwa Memcached na AWS przed relacyjną bazą danych, serwery aplikacji na Kubernetes z częstymi wdrożeniami.
Podejście
Wsparcie obejmuje tu zarówno cache, jak i wzorce aplikacyjne, które z niego korzystają, bo ochrona przed stampede to kwestia aplikacji, której sam cache nie rozwiąże. Pracujemy z inżynierami klienta nad łączeniem żądań (request coalescing) i losowym rozrzutem TTL, a zmiany topologii węzłów zamieniamy w kontrolowaną operację zamiast zdarzenia.
Rozwiązanie
- Wsparcie 24/7 z docelowymi czasami reakcji od 15 minut, zależnie od planu, i przypisanymi starszymi inżynierami, którzy znają topologię cache i jego konsumentów
- Łączenie żądań w warstwie aplikacji, aby brakującą wartość odtwarzał tylko jeden wywołujący, a pozostali czekali
- Losowy rozrzut TTL, aby klucze zapełniane razem nie wygasały razem i nie powodowały masowego wygasania
- Przegląd konfiguracji consistent hashing, aby zmiany węzłów przemapowywały możliwie najmniejszą część kluczy
- Kontrolowana procedura dodawania i usuwania węzłów z wstępnym rozgrzewaniem cache, zastępująca nieplanowane wymiany
- Monitorowanie współczynnika trafień, eksmisji i chybień get dla każdego węzła, aby wychwycić degradujący się węzeł, zanim zostanie utracony
Efekt
Wymiana węzła nie powoduje już skoku obciążenia bazy danych, a masowe wygasanie kluczy zniknęło po wprowadzeniu rozrzutu TTL. Konserwacja cache z wydarzenia wymagającego zatwierdzania zmian wróciła do rutynowej eksploatacji.