Przegląd
Dostawca analityki medycznej korzystał z jednej instancji Redis przechowującej zarówno wpisy cache, jak i stan sesji użytkowników. Gdy pojawiała się presja pamięciowa, polityka eviction usuwała klucze bez względu na to, które z nich były zbędne, przez co użytkownicy byli wylogowywani w trakcie pracy. AceMQ przejęło wsparcie techniczne Redis, przydzielając do niego konkretnych starszych inżynierów.
Wyzwanie
Łączenie danych cache i danych sesji w jednej przestrzeni kluczy z jedną polityką eviction oznacza, że każdy wybór polityki jest błędny dla jednego z obciążeń. Dodatkowo wiele kluczy cache nie miało w ogóle TTL, więc polityka typu volatile nie miała czego usuwać, a instancja zwracała zamiast tego błędy braku pamięci (out-of-memory). Raporty dotyczące pamięci były też błędnie interpretowane — fragmentację brano za przyrost danych.
Środowisko
Redis w Azure obsługujący stan sesji i cache wyników zapytań dla aplikacji do analityki klinicznej.
Podejście
AceMQ najpierw rozdzieliło obciążenia, ponieważ żadna pojedyncza polityka eviction nie obsłuży obu, a następnie poprawiło konfigurację TTL i polityk dla każdego z nich. Raportowanie pamięci uporządkowano tak, aby zespół operacyjny mógł odróżnić przyrost danych, fragmentację i wykorzystanie buforów replikacji.
Rozwiązanie
- Rozdzielenie stanu sesji i cache na osobne instancje z politykami dopasowanymi do każdego obciążenia
- Konsekwentne ustawienie TTL dla kluczy cache, aby polityki typu volatile miały klucze kwalifikujące się do usunięcia
- Ustawienie maxmemory i polityki eviction dla każdej instancji na podstawie zmierzonego zbioru roboczego, a nie pamięci hosta
- Uporządkowanie raportowania pamięci, aby fragmentacja, dane i bufory replikacji były poprawnie interpretowane
- Identyfikacja i usunięcie wzorców kluczy powodujących nieograniczony przyrost przestrzeni kluczy cache
- Wprowadzenie eskalacji 24/7 do starszych inżynierów Redis z docelowymi czasami reakcji od 15 minut, zależnie od planu
Efekt
Utrata sesji pod presją pamięciową całkowicie ustała, a błędy braku pamięci zniknęły, gdy polityka eviction zyskała klucze kwalifikujące się do usunięcia. Zespół klienta poprawnie interpretuje teraz metryki pamięci i reaguje na przyrost, zanim stanie się on incydentem.