Przegląd
Platforma do współpracy wykorzystywała Redis jako warstwę sesji i wyszukiwania dla produktu udostępnianego klientom. Między restartami zużycie pamięci stale rosło, aż klaster padał, a ten wzorzec przetrwał kilka rund zwiększania zasobów.
Wyzwanie
Dodawanie pamięci nie pomagało, ponieważ wzrost nie był proporcjonalny do ruchu. Klaster miał ponadto limit pamięci ustawiony bez jednostek, więc zamierzony limit w rzeczywistości nigdy nie był stosowany. Restarty odzyskiwały pamięć, ale zrywały sesje.
Środowisko
Konteneryzowany Redis z replikami i failoverem opartym na Sentinel, działający w zarządzanym środowisku chmurowym pod obciążeniem z bardzo częstymi zapisami.
Podejście
Inżynierowie AceMQ odtworzyli wzrost pamięci w klastrze CI, wyizolowali przyczynę w indeksie pełnotekstowym — usuwając i odbudowując indeks oraz obserwując, jak pamięć wraca do normy — i potwierdzili, że zachowanie odpowiada znanemu defektowi w używanej wersji modułu wyszukiwania. Restarty rozłożone w czasie, najpierw replik, a potem mastera, dały zespołowi bezpieczne rozwiązanie przejściowe na czas oceny ścieżki aktualizacji.
Rozwiązanie
- Odtworzenie wzrostu pamięci w klastrze nieprodukcyjnym w celu wyizolowania przyczyny
- Wskazanie modułu wyszukiwania pełnotekstowego, a nie obciążenia aplikacji, jako źródła wycieku
- Poprawienie limitu pamięci, który skonfigurowano bez jednostek
- Ustawienie jawnej polityki eviction, aby klaster degradował się łagodnie zamiast padać
- Wprowadzenie restartów rozłożonych w czasie, najpierw replik, a potem mastera, aby uniknąć ryzyka failoveru
- Ocena Valkey jako wspieranej ścieżki długoterminowej, z wdrażaniem sterowanym flagami funkcji
Efekt
Wzrost pamięci przestał być incydentem. Klaster utrzymywał stabilność między oknami serwisowymi, zespół zyskał udokumentowane obejście, które może stosować samodzielnie, a migracja na Valkey przebiegła jako planowana zmiana, a nie w trybie awaryjnym.