Powrót do wszystkich studiów przypadków

Usuwanie problemówOprogramowanie / platformy cyfrowe

Wzrost pamięci, który wyglądał na problem z obciążeniem, okazał się błędem indeksowania

Platforma do współpracy online

Produkcyjny klaster Redis padał z powodu wzrostu zużycia pamięci, którego źródłem okazał się indeks pełnotekstowy, a nie obciążenie. AceMQ zdiagnozował wyciek, ustabilizował klaster i wyznaczył ścieżkę migracji na Valkey.

Przegląd

Platforma do współpracy wykorzystywała Redis jako warstwę sesji i wyszukiwania dla produktu udostępnianego klientom. Między restartami zużycie pamięci stale rosło, aż klaster padał, a ten wzorzec przetrwał kilka rund zwiększania zasobów.

Wyzwanie

Dodawanie pamięci nie pomagało, ponieważ wzrost nie był proporcjonalny do ruchu. Klaster miał ponadto limit pamięci ustawiony bez jednostek, więc zamierzony limit w rzeczywistości nigdy nie był stosowany. Restarty odzyskiwały pamięć, ale zrywały sesje.

Środowisko

Konteneryzowany Redis z replikami i failoverem opartym na Sentinel, działający w zarządzanym środowisku chmurowym pod obciążeniem z bardzo częstymi zapisami.

Podejście

Inżynierowie AceMQ odtworzyli wzrost pamięci w klastrze CI, wyizolowali przyczynę w indeksie pełnotekstowym — usuwając i odbudowując indeks oraz obserwując, jak pamięć wraca do normy — i potwierdzili, że zachowanie odpowiada znanemu defektowi w używanej wersji modułu wyszukiwania. Restarty rozłożone w czasie, najpierw replik, a potem mastera, dały zespołowi bezpieczne rozwiązanie przejściowe na czas oceny ścieżki aktualizacji.

Rozwiązanie

  1. Odtworzenie wzrostu pamięci w klastrze nieprodukcyjnym w celu wyizolowania przyczyny
  2. Wskazanie modułu wyszukiwania pełnotekstowego, a nie obciążenia aplikacji, jako źródła wycieku
  3. Poprawienie limitu pamięci, który skonfigurowano bez jednostek
  4. Ustawienie jawnej polityki eviction, aby klaster degradował się łagodnie zamiast padać
  5. Wprowadzenie restartów rozłożonych w czasie, najpierw replik, a potem mastera, aby uniknąć ryzyka failoveru
  6. Ocena Valkey jako wspieranej ścieżki długoterminowej, z wdrażaniem sterowanym flagami funkcji

Efekt

Wzrost pamięci przestał być incydentem. Klaster utrzymywał stabilność między oknami serwisowymi, zespół zyskał udokumentowane obejście, które może stosować samodzielnie, a migracja na Valkey przebiegła jako planowana zmiana, a nie w trybie awaryjnym.

Technologie

ValkeyRedisKubernetes

Problem produkcyjny z Valkey?

Starsi inżynierowie Valkey w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.