Powrót do wszystkich studiów przypadków

Wsparcie techniczneOprogramowanie / platformy cyfrowe

Pamięć, która tylko rosła

Platforma SaaS do udostępniania ekranu w czasie rzeczywistym

Sześć sesji na żywo w ciągu czternastu godzin, aby ustalić, dlaczego klaster Redis wciąż przekraczał swój limit pamięci, i powstrzymać to bez okna serwisowego.

Przegląd

Platforma SaaS do udostępniania ekranu w czasie rzeczywistym miała klaster Redis, którego pamięć między restartami stale rosła i nigdy nie spadała. Restart ją czyścił, przez co z problemem łatwo było żyć i łatwo było go błędnie zdiagnozować. AceMQ poprowadziło współpracę w formie sześciu roboczych sesji na żywo, łącznie czternastu godzin, z udziałem inżynierów klienta — zamiast pisemnego raportu dostarczonego po kilku tygodniach.

Wyzwanie

Dwa odrębne problemy dawały jeden objaw. Limit pamięci został błędnie skonfigurowany na 7 GB, więc instancja nie usuwała danych (eviction) wtedy, kiedy powinna, a Redis Search degradował się przy wzorcu zapisów o wysokiej częstotliwości, pod który indeks nie został zaprojektowany. Każdy z tych problemów z osobna dałoby się przetrwać. Razem powodowały wzrost, który wyglądał jak klasyczny wyciek i nie poddawał się typowym poprawkom polityki eviction.

Środowisko

Konteneryzowany Redis z przełączaniem awaryjnym zarządzanym przez Sentinel, przechowujący stan sesji dla produktu do współpracy w czasie rzeczywistym.

Podejście

Sesje miały celowo interaktywny charakter: odtworzyć, zmierzyć, zmienić jedną zmienną, zmierzyć ponownie. Taki format pozwolił zespołowi oddzielić błędną konfigurację limitu od zachowania Redis Search, zamiast wprowadzić obie poprawki naraz i niczego się nie dowiedzieć.

Rozwiązanie

  1. Korekta limitu pamięci, dzięki której polityka eviction mogła faktycznie zadziałać przy zamierzonym progu
  2. Wskazanie degradacji Redis Search przy zapisach o wysokiej częstotliwości jako odrębnej przyczyny, a nie objawu wycieku
  3. Wprowadzenie rozłożonej w czasie rotacji kontenerów, która stopniowo odzyskuje pamięć bez jednoczesnego restartu całego klastra
  4. Przegląd konfiguracji Sentinel, dzięki któremu zachowanie failoveru podczas rotacji było przewidywalne
  5. Dodanie metryk pamięci i indeksów, które pozwoliłyby wcześniej wykryć obie przyczyny
  6. Przygotowanie inżynierów klienta do samodzielnego przeprowadzania rotacji, bez konieczności polegania na AceMQ

Efekt

Wzrost pamięci został ograniczony, a system produkcyjny się ustabilizował. W okresie po zakończeniu współpracy nie zgłoszono żadnych krytycznych awarii, a platforma działała przez cały czas naprawy, bez okna serwisowego.

Technologie

RedisRedis SentinelContainersObservability

Potrzebują Państwo eksperckiego wsparcia Redis?

Starsi inżynierowie Redis w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.