Redis

Dlaczego pamięć Redis ciągle rośnie, choć liczba kluczy się nie zmienia?

Scott Sternloff

Autor: Scott Sternloff, Starszy architekt korporacyjny

LinkedIn · Aktualizacja:

MAXINDEX GROWINGMemory Leak, Flat Key Count
Na tej stronie

Sprawdzają Państwo INFO memory, a zużycie pamięci ciągle rośnie. Sprawdzają Państwo liczbę kluczy, a ta stoi w miejscu albo nawet maleje. To jeden z najbardziej dezorientujących wzorców awarii w eksploatacji Redis — liczby się nie zgadzają, a zespoły często przez wiele dni ścigają niewłaściwego winowajcę, zanim znajdą prawdziwego.

W tym artykule omawiamy diagnozę i rozwiązanie na podstawie rzeczywistego, kilkutygodniowego dochodzenia produkcyjnego, łącznie z dokładnymi poleceniami i progami, które miały znaczenie.

Skoro liczba kluczy się nie zmienia, dlaczego pamięć nadal rośnie?

W zdecydowanej większości przypadków odpowiedź brzmi: przyczyną nie są klucze, tylko indeks.

Jeśli korzystają Państwo z RediSearch (modułu pełnotekstowego i indeksów pomocniczych) lub dowolnego podobnego modułu indeksującego, sam indeks zużywa pamięć niezależnie od głównej przestrzeni kluczy. Indeks rosnący bez ograniczeń — często dlatego, że jest przebudowywany lub aktualizowany znacznie częściej, niż zamierzano — może zbliżać się do limitu maxmemory, podczas gdy DBSIZE nie pokazuje niczego nietypowego.

Zostało to zdiagnozowane bezpośrednio podczas wielosesyjnej oceny Redis: zespół potwierdził, że wyciek pamięci był powiązany z wtyczką indeksowania pełnotekstowego Redis, a zużycie pamięci rosło w kierunku 60% i powodowało awarie podczas operacji reindeksowania. Justin Clark i Eugene Abovsky zidentyfikowali to jako błąd oprogramowania w module indeksującym — nie problem sprzętowy ani konfiguracyjny i w ogóle nie coś, co działo się w głównej przestrzeni kluczy.

Pierwszy krok diagnostyczny: uruchomić FT.INFO <index_name> dla każdego indeksu wyszukiwania i sprawdzić raportowane zużycie pamięci przez indeks. Porównać je z łącznym used_memory z INFO memory. Jeśli indeks odpowiada za nieproporcjonalnie duży i rosnący udział, źródło wycieku zostało znalezione — nie w danych, lecz w strukturze indeksu, która się nad nimi znajduje.

Co konkretnie powoduje taki wyciek pamięci w indeksie?

Najczęstszą przyczyną źródłową jest nadmierne reindeksowanie wywoływane częstymi aktualizacjami o niskiej wartości.

W jednym z dochodzeń produkcyjnych zespół powiązał wyciek z aktualizacjami heartbeatów urządzeń — każdy heartbeat wywoływał pełne reindeksowanie powiązanego dokumentu, nawet jeśli faktyczna zmiana była błaha. Każda taka operacja reindeksowania pozostawiała pamięć, która nie była odzyskiwana, a ponieważ heartbeaty wysyłano nieustannie, wyciek narastał przez kolejne godziny, aż instancja uległa awarii.

Drugi czynnik wskazany w tym samym dochodzeniu to indeksowanie pól, które nie muszą być indeksowane, takich jak pola UUID. Indeksowanie pola o wysokiej kardynalności, takiego jak UUID, znacząco zawyża zużycie pamięci przez indeks przy bardzo niewielkiej korzyści dla zapytań, ponieważ identyfikatory UUID rzadko są przedmiotem zapytań zakresowych czy wyszukiwania rozmytego.

Pytania diagnostyczne dotyczące własnego wdrożenia:

  • Które pola są faktycznie indeksowane i czy zapytania rzeczywiście korzystają ze wszystkich?
  • Co wywołuje aktualizację dokumentu — istotna zmiana stanu czy częsty sygnał, taki jak heartbeat lub zmiana znacznika czasu?
  • Czy działa harmonogramowane zadanie reindeksowania i czy rzeczywiście się kończy i zwalnia pamięć, czy po cichu zawodzi?

Jak najszybciej ustabilizować instancję Redis, w której właśnie występuje wyciek pamięci?

Jeśli trwa aktywny incydent — pamięć zbliża się do limitu, a awaria jest nieuchronna — istnieje sprawdzone rozwiązanie doraźne: usunąć i odbudować dotknięty indeks.

Nie usuwa to przyczyny źródłowej, ale niezawodnie odzyskuje utraconą pamięć jako doraźny środek zaradczy. W jednym z incydentów usunięcie i odbudowa indeksu zmniejszyły zużycie pamięci z 50% do 36% skonfigurowanego maksimum — co dało wystarczający zapas, by ustabilizować system na czas opracowywania właściwej poprawki.

Procedura doraźna:

  1. Potwierdzić za pomocą FT.INFO, który indeks rośnie nieproporcjonalnie
  2. W miarę możliwości zaplanować usunięcie i odbudowę na okres niskiego ruchu — odbudowa dużego indeksu nie jest natychmiastowa i na krótko wpływa na dostępność zapytań
  3. FT.DROPINDEX <index_name> (bez DD, jeśli chcą Państwo zachować bazowe dane hash/JSON, ponieważ celem jest usunięcie wyłącznie struktury indeksu, a nie kluczy)
  4. Odtworzyć indeks za pomocą FT.CREATE
  5. Następnie monitorować FT.INFO i INFO memory, aby potwierdzić, że odzyskana pamięć się utrzymuje

W środowiskach produkcyjnych, w których problem się powtarza, można to zautomatyzować jako zadanie harmonogramowane — ale należy traktować to jako środek zaradczy, a nie rozwiązanie. Automatyzacja obejścia bez usunięcia wyzwalacza reindeksowania jedynie odsuwa moment awarii.

Jakie zmiany konfiguracji faktycznie zapobiegają awarii?

Poza usunięciem samego wyzwalacza reindeksowania dwie zmiany na poziomie konfiguracji ograniczają zasięg skutków na czas opracowywania właściwej poprawki:

Ustawić jawne maxmemory z odpowiednią polityką usuwania. W jednym z incydentów zespół wprowadził nowe ustawienie maksymalnej pamięci wraz z polityką usuwania allkeys-lru, właśnie po to, by chronić stabilność systemu dla kluczowych klientów — godząc się na pewien spadek współczynnika trafień cache w zamian za gwarancję, że instancja nie ulegnie twardej awarii z powodu wyczerpania pamięci. To świadomy kompromis na rzecz stabilności kosztem wydajności na czas trwającego dochodzenia w sprawie wycieku, a niekoniecznie stałe ustawienie.

Dostroić odśmiecanie pamięci tam, gdzie to możliwe. We wdrożeniach Redis intensywnie korzystających z modułów testowano agresywne strojenie GC, aby poprawić zachowanie pamięci — warto to zbadać, jeśli dostawca modułu udostępnia konfigurację związaną z GC.

Oddzielić często zmieniające się dane o niskiej wartości od indeksowanych kluczy. Najtrwalsze rozwiązanie wskazane w ramach tego dochodzenia miało charakter architektoniczny: całkowite oddzielenie zmiennych danych typu heartbeat od indeksowanych kluczy, tak aby rutynowe pingi statusu w ogóle nie wywoływały reindeksowania. Jeśli wzorzec aplikacji obejmuje częste aktualizacje niewielkiego podzbioru pól w dokumencie, który poza tym jest stabilny, warto rozważyć przechowywanie zmiennych pól w osobnym, nieindeksowanym kluczu.

Czy aktualizacja wersji Redis to naprawi?

Możliwe — ale najpierw należy zweryfikować konkretny błąd. W omawianym dochodzeniu częścią procesu diagnostycznego było sprawdzenie, czy wyciek pamięci jest znanym problemem, który usunięto w późniejszych wersjach Redis, ponieważ dotknięte środowisko działało na starszym wydaniu. Niezależna analiza kodu źródłowego modułu wyszukiwania posłużyła do ustalenia, czy znane wersje z poprawkami eliminują zaobserwowany wzorzec wycieku.

Zanim uzna się aktualizację za rozwiązanie, należy potwierdzić:

  • Czy używana wersja modułu ma udokumentowaną poprawkę wycieku pamięci w późniejszym wydaniu
  • Czy wyciek rzeczywiście występuje w samym module, czy we wzorcu indeksowania (aktualizacja nie naprawi problemu z indeksowaniem UUID)
  • Czy istnieje przetestowany plan wycofania, ponieważ aktualizacje wersji Redis na produkcji wymagają takiej samej staranności jak aktualizacja każdej usługi stanowej

Docelowe czasy reakcji od 15 minut, zależnie od planu. Przypisani starsi inżynierowie.

Kontakt

Czy to powód, by rozważyć migrację do Valkey?

Warto to ocenić w ramach szerszego planu naprawczego, zwłaszcza jeśli rozważają Państwo również kwestie licencyjne. Niektóre zespoły zmagające się właśnie z taką niestabilnością związaną z modułami wykorzystały dochodzenie jako okazję do równoległego przetestowania zgodności z Valkey — sprawdzenia, czy istniejący kod klientów i wzorce indeksowania działają na Valkey identycznie, zanim zdecydują się na którykolwiek kierunek. Tę decyzję omawiamy szerzej w osobnym artykule.

Jak powinien wyglądać stały monitoring po ustabilizowaniu sytuacji?

Po usunięciu bezpośredniego ryzyka awarii należy wdrożyć stały monitoring, aby problem nie powrócił niezauważony:

  • Śledzić pamięć indeksów jako odrębną metrykę, a nie tylko łączne used_memory. Panel dashboardu pokazujący pamięć z FT.INFO obok łącznej pamięci sprawia, że kolejny wyciek staje się widoczny wcześnie, a nie dopiero przy 60% wykorzystania.
  • Ustawić alerty na częstotliwość i czas trwania zadań reindeksowania. Jeśli rytm reindeksowania nieoczekiwanie się zmieni — stanie się częstszy albo zadania po cichu przestaną się kończyć — to jest wczesne ostrzeżenie.
  • Sprawdzić, czy polityka usuwania przy maxmemory odpowiada rzeczywistej tolerancji na utratę danych. allkeys-lru chroni stabilność, ale pod presją usuwa dane; jeśli w danym zastosowaniu jest to nie do przyjęcia, prawdziwym rozwiązaniem musi być usunięcie wyzwalacza reindeksowania, a nie polityka usuwania.

Pomoc przy wyciekach pamięci i wzroście indeksów w Redis

Zużycie pamięci Redis rośnie niezależnie od liczby kluczy? To wzorzec, który śledzimy aż do jego faktycznego źródła — wzrostu indeksów, wyzwalaczy reindeksowania i błędów modułów, których nie wychwyci ogólne strojenie infrastruktury. AceMQ zapewnia korporacyjne wsparcie techniczne Redis dla środowisk produkcyjnych. Zapraszamy do rozmowy z inżynierem AceMQ.

To trzeci z siedmiu kroków przewodnika po niezawodności Redis, który omawia problemy w kolejności, w jakiej pojawiają się w środowisku produkcyjnym.

Najczęściej zadawane pytania

Skoro liczba kluczy w Redis się nie zmienia, dlaczego pamięć nadal rośnie?

W zdecydowanej większości przypadków wzrost pochodzi z indeksu, a nie z przestrzeni kluczy. RediSearch i podobne moduły indeksujące zużywają pamięć niezależnie od głównej przestrzeni kluczy, a indeks przebudowywany lub aktualizowany zbyt często może zbliżać się do maxmemory, podczas gdy DBSIZE nie pokazuje niczego nietypowego. Aby to potwierdzić, należy uruchomić FT.INFO <index_name> dla każdego indeksu wyszukiwania i porównać jego zużycie pamięci z łącznym used_memory z INFO memory.

Co powoduje taki wyciek pamięci w indeksie Redis?

Najczęstszą przyczyną źródłową jest nadmierne reindeksowanie wywoływane częstymi aktualizacjami o niskiej wartości — na przykład pole heartbeat, które przy każdym pingu wywołuje pełne reindeksowanie dokumentu. Drugim czynnikiem jest indeksowanie pól, które nie muszą być indeksowane, takich jak pola UUID o wysokiej kardynalności, co zawyża zużycie pamięci przez indeks przy niewielkiej korzyści dla zapytań.

Jak najszybciej ustabilizować instancję Redis, w której właśnie występuje wyciek pamięci?

Usunąć i odbudować dotknięty indeks. Nie usuwa to przyczyny źródłowej, ale niezawodnie odzyskuje utraconą pamięć jako doraźny środek zaradczy — w jednym incydencie obniżyło zużycie z 50% do 36% skonfigurowanego maksimum. Należy zaplanować to na okres niskiego ruchu, potwierdzić rosnący indeks za pomocą FT.INFO, a następnie wykonać FT.DROPINDEX (bez DD, aby zachować dane) i odtworzyć indeks za pomocą FT.CREATE.

Jakie zmiany konfiguracji faktycznie zapobiegają awarii Redis z powodu wycieku pamięci?

Ustawić jawne maxmemory z polityką usuwania allkeys-lru, aby instancja nie mogła ulec twardej awarii z powodu wyczerpania pamięci, nawet kosztem pewnego spadku współczynnika trafień cache. Dostroić odśmiecanie pamięci, jeśli dostawca modułu udostępnia takie ustawienia. Najtrwalszym rozwiązaniem jest oddzielenie często zmieniających się danych o niskiej wartości, takich jak heartbeaty, od indeksowanych kluczy, tak aby rutynowe aktualizacje w ogóle przestały wywoływać reindeksowanie.

Czy aktualizacja wersji Redis naprawi wyciek pamięci?

Możliwe, ale najpierw należy zweryfikować konkretny błąd. Trzeba potwierdzić, czy używana wersja modułu ma udokumentowaną poprawkę wycieku pamięci w późniejszym wydaniu, czy wyciek rzeczywiście występuje w module, a nie we wzorcu indeksowania, oraz czy przed aktualizacją istnieje przetestowany plan wycofania.

Czy wyciek pamięci w Redis to powód, by rozważyć migrację do Valkey?

Warto to ocenić w ramach szerszego planu naprawczego, zwłaszcza jeśli rozważają Państwo również kwestie licencyjne. Równoległe testowanie zgodności z Valkey — sprawdzenie, czy kod klientów i wzorce indeksowania działają identycznie — pozwala ocenić tę opcję bez zobowiązywania się do niej z góry.

Jak powinien wyglądać stały monitoring po ustabilizowaniu wycieku pamięci w Redis?

Śledzić pamięć indeksów jako odrębną metrykę obok łącznego used_memory, zamiast polegać wyłącznie na wartościach zagregowanych. Ustawić alerty na częstotliwość i czas trwania zadań reindeksowania, aby wcześnie wychwycić nieoczekiwane zmiany. Sprawdzić, czy polityka usuwania przy maxmemory rzeczywiście odpowiada tolerancji na utratę danych, ponieważ allkeys-lru chroni stabilność, ale pod presją usuwa dane.

Bezpłatna konsultacja

Ekspercka ocena: Wdrożenie Redis

Niezależnie od tego, czy rozwiązują Państwo incydent produkcyjny, planują migrację, czy chcą poznać drugą opinię o architekturze – nasz zespół jest gotowy. Bez sprzedażowych prezentacji, same odpowiedzi.

Napisz do nas