Redis

Dlaczego klient Redis zgłasza timeouty, skoro serwer wygląda na zdrowy?

Scott Sternloff

Autor: Scott Sternloff, Starszy architekt korporacyjny

LinkedIn · Aktualizacja:

CLIENTappSERVERhealthy10s TIMEOUTClient Timeout, Server Fine
Na tej stronie

Zespół sprawdza INFO server, INFO clients, INFO memory — wszystko wygląda normalnie. CPU jest niskie. Pamięć mieści się w limitach. Brak wpisów w slow logu. A mimo to aplikacja wciąż rzuca wyjątki timeoutu Redis, a usługi zależne od Redis działają coraz gorzej lub przestają działać.

To naprawdę częsty i naprawdę mylący scenariusz awarii, bo odruchowo zaczyna się od serwera. W przypadkach, nad którymi pracowaliśmy, problem prawie nigdy nie leżał po stronie serwera.

Gdzie naprawdę szukać, gdy występują timeouty Redis, a serwer działa poprawnie?

W trzech miejscach, w kolejności prawdopodobieństwa:

  1. Konfiguracja klienta — przede wszystkim wartości timeoutów, rozmiar puli połączeń i zachowanie przy ponawianiu.
  2. Ścieżka sieciowa — firewalle, load balancery lub urządzenia NAT znajdujące się między aplikacją a Redis, które po cichu zrywają bezczynne połączenia.
  3. Duże klucze lub blokujące polecenia — operacje, które blokują jednowątkową pętlę zdarzeń Redis na tyle długo, że powodują timeouty po stronie klienta, mimo że serwer nigdy „nie pada”.

Rzeczywisty przypadek produkcyjny dobrze to ilustruje: zakres prac u klienta dotyczył wyłącznie 10-sekundowego timeoutu klienta, który zakłócał działanie mikroserwisów. Analiza potwierdziła, że błędy występowały po stronie klienta, a nie na serwerach Redis — serwer nie odnotował żadnego odpowiadającego im błędu ani spowolnienia. Ustalenie przyczyny źródłowej wymagało pogłębionej analizy wzorców wyczerpania zasobów po stronie klienta i aplikacji, a nie samej instancji Redis.

Połączenia ciągle zrywają się w konkretnym oknie serwisowym — co się dzieje?

To objaw na warstwie sieciowej i występuje częściej, niż zespoły się spodziewają, w chmurowych i korporacyjnych środowiskach sieciowych z zaplanowanymi pracami serwisowymi na firewallach.

W jednym przypadku prace serwisowe na firewallu powodowały jednoczesne zerwanie wszystkich połączeń TCP z klastrem Redis; samo okno serwisowe trwało od trzech do pięciu minut i kończyło się całkowitą niedostępnością sieci, wymagającą ręcznego restartu aplikacji. W ogóle nie był to problem z Redis — infrastruktura na ścieżce sieciowej między aplikacją a Redis po cichu zrywała nawiązane połączenia podczas rutynowej aktualizacji firewalla.

Jak potwierdzić, że to właśnie ten problem:

  • Sprawdzić, czy incydenty z timeoutami pokrywają się z cyklicznym harmonogramem (co noc, co tydzień), a nie ze wzorcami obciążenia
  • Zapytać zespół sieciowy wprost, czy istnieją zaplanowane okna serwisowe dla firewalli, load balancerów lub bram NAT
  • W miarę możliwości przechwycić ruch w tym oknie — czysty TCP RST lub ciche zerwanie połączenia bez odpowiadającego mu wpisu w logu serwera Redis potwierdza, że sprawcą jest warstwa sieciowa, a nie Redis

Jakie ustawienia po stronie klienta naprawdę rozwiązują problemy z timeoutami Redis?

Najważniejsze są dwa ustawienia i to one stanowiły konkretną poprawkę w rzeczywistym projekcie naprawczym: TCP keepalive oraz strojenie ponawiania i timeoutów na poziomie klienta.

TCP keepalive. Bez włączonego keepalive bezczynne połączenia za firewallem lub urządzeniem NAT są głównymi kandydatami do cichego zerwania — stos TCP systemu operacyjnego nie wie, że połączenie zostało zerwane, dopóki nie spróbuje go użyć, a wtedy pojawia się timeout zamiast czystego ponownego połączenia. Włączenie TCP keepalive z dość agresywnym interwałem (znacznie krótszym niż limit bezczynności połączenia na firewallu lub NAT) podtrzymuje połączenie dzięki okresowym pustym pakietom albo pozwala wykryć awarię na tyle szybko, że pula połączeń zdąży wymienić martwe połączenie, zanim aplikacja spróbuje go użyć.

Konfiguracja ponawiania i timeoutów w bibliotece klienckiej. W aplikacjach Java korzystających z klienta Redis Lettuce (często razem ze Spring Data Redis) oznacza to jawne skonfigurowanie:

  • Timeoutu poleceń (jak długo czekać na odpowiedź Redis, zanim nastąpi rezygnacja)
  • Opcji keepalive na poziomie gniazda w bibliotece klienckiej, a nie tylko w systemie operacyjnym
  • Polityki ponawiania przy przejściowych błędach połączenia, rozróżniającej „connection refused” (szybka porażka) i „connection reset” (bezpieczne ponowienie)

W ramach produkcyjnego projektu naprawczego powstał raport podsumowujący z zalecanymi ustawieniami TCP keepalive i ponawiania po stronie serwera i klienta, a następnie bezpośrednie wytyczne dotyczące strojenia konfiguracji klastra Redis klienta oraz parametrów timeoutu i ponawiania w kliencie Lettuce.

Czy przyczyną timeoutów mogą być raczej duże klucze?

Tak — i warto to wykluczyć, nawet jeśli już znaleziono czynnik sieciowy lub po stronie klienta, ponieważ duże klucze mogą potęgować problem.

Redis wykonuje polecenia w jednym wątku. Polecenie działające na bardzo dużym kluczu (ogromnym hashu, olbrzymim zbiorze posortowanym, dużym stringu) może zablokować pętlę zdarzeń na tyle długo, że polecenia innych klientów ustawią się w kolejce i w końcu przekroczą limit czasu, mimo że serwer „wygląda” na zdrowy w zagregowanych metrykach CPU i pamięci.

Analiza tego wzorca obejmowała również techniki kompresji dużych kluczy Redis jako potencjalną optymalizację wydajności, obok poprawek na warstwie sieciowej — ponieważ w rzeczywistych wdrożeniach przyczyną timeoutów rzadko jest jeden czynnik, a częściej połączenie granicznej niezawodności sieci i sporadycznych operacji na dużych kluczach, które wypychają opóźnienie ponad próg timeoutu klienta.

Jak to sprawdzić: uruchomić redis-cli --bigkeys w okresie reprezentatywnego ruchu lub użyć MEMORY USAGE <key> dla podejrzanych dużych kluczy. Jeśli znajdą się klucze o rozmiarze wielu megabajtów, odczytywane poleceniami takimi jak HGETALL, SMEMBERS czy LRANGE bez limitów, to kandydat na współprzyczynę.

Jak diagnozować to systematycznie, zamiast zgadywać?

Należy przejść przez kolejne kroki w tej kolejności:

  1. Potwierdzić, że problem leży po stronie klienta. Sprawdzić logi serwera Redis i wynik INFO pod kątem czegokolwiek, co pokrywa się z oknem timeoutu. Jeśli serwer nie pokazuje niczego, potwierdza to, że problem leży przed samym Redis.
  2. Sprawdzić korelację z harmonogramem. Czy problem występuje o określonej porze dnia lub w określonym dniu tygodnia? To wskazuje na prace serwisowe w infrastrukturze sieciowej.
  3. Przejrzeć konfigurację klienta. Timeout poleceń, rozmiar puli połączeń, ustawienia TCP keepalive — porównać je z rzeczywistą tolerancją ścieżki sieciowej na bezczynne połączenia.
  4. Wykluczyć duże klucze i polecenia blokujące. Uruchomić --bigkeys i przejrzeć wzorce poleceń pod kątem operacji na nieograniczonych kolekcjach.
  5. Jeśli powyższe nie pomoże, zebrać dowody na poziomie pakietów. Przechwycenie ruchu w oknie odtworzenia problemu jednoznacznie pokaże, czy połączenie jest resetowane przez urządzenie sieciowe, czy timeout następuje po stronie klienta.

Docelowe czasy reakcji od 15 minut, zależnie od planu. Przypisani starsi inżynierowie.

Kontakt

Czy może to zdiagnozować ogólny zespół infrastruktury, czy potrzebna jest specjalistyczna wiedza o Redis?

Specjalistyczna wiedza o Redis naprawdę pomaga, głównie dlatego, że objaw (timeout) wygląda identycznie niezależnie od tego, czy przyczyna leży po stronie Redis, klienta czy sieci, a zespoły bez głębokiego doświadczenia operacyjnego z Redis często zaczynają od strojenia niewłaściwej warstwy — zwykle serwera, bo to komponent, który ma „Redis” w nazwie.

Oba przypadki produkcyjne opisane w tym artykule wymagały współpracy wielu zespołów — zespołów aplikacyjnych i DevOps pracujących z ekspertami Redis, a w przypadku firewalla bezpośrednio także zespołu sieci i bezpieczeństwa — aby wyizolować warstwę faktycznie odpowiedzialną za problem. Właśnie w takim międzyzespołowym procesie diagnostycznym ustrukturyzowana ocena Redis pokazuje swoją wartość: nie zakłada z góry, że odpowiedzią jest „dostroić Redis”, tylko śledzi awarię aż do miejsca, w którym faktycznie występuje.

Dziesięciominutowa diagnoza timeoutów Redis

Oto kolejność, w jakiej uruchamiamy polecenia, oraz to, co każda odpowiedź potwierdza lub wyklucza. Wszystko to dotyczy również Valkey.

  1. redis-cli --latency z hosta klienta, a następnie z hosta serwera. Uruchomić --latency-history na obu przez kilka minut. Skoki widoczne tylko na hoście klienta oznaczają problem ze ścieżką sieciową lub maszyną klienta; nic w Redis tego nie naprawi. Skoki na obu oznaczają, że serwer się zacina — wtedy należy kontynuować według tej listy.
  1. SLOWLOG GET 25 i INFO commandstats. Slowlog pokazuje pojedyncze polecenia, które przekroczyły slowlog-log-slower-than (domyślnie 10 ms). Commandstats pokazuje usec_per_call dla każdego typu polecenia, co wychwytuje KEYS trwające średnio 40 ms, nawet jeśli żadne pojedyncze wywołanie nie trafiło do slowloga. Typowi winowajcy to KEYS, SMEMBERS na dużym zbiorze, HGETALL na szerokim hashu, operacje na zbiorach w stylu SUNION oraz skrypty Lua z pętlami. Każde z nich blokuje wszystkich pozostałych klientów na cały czas wykonania.
  1. INFO clients. blocked_clients powyżej zera jest normalne przy BLPOP lub strumieniach; w przeciwnym razie coś czeka na klucz, który nigdy nie nadejdzie. Należy porównać client_recent_max_output_buffer z CONFIG GET client-output-buffer-limit: wolny subskrybent lub replika zapełnia bufor, limit zostaje przekroczony, a serwer zrywa połączenie, co klient zgłasza jako timeout.
  1. INFO persistence. Porównać rdb_bgsave_in_progress, aof_rewrite_in_progress i latest_fork_usec ze znacznikami czasu timeoutów. Fork na dużym zbiorze danych wstrzymuje wątek główny na setki milisekund, a następujący po nim copy-on-write spowalnia każdy zapis. Timeouty w tej samej minucie każdej godziny to niemal zawsze zaplanowany BGSAVE.
  1. INFO stats. Skok evicted_keys oznacza, że osiągnięto maxmemory i serwer poświęca czas na wybór kluczy do usunięcia; skok expired_keys oznacza klif TTL, w którym wiele kluczy wygasa w tej samej sekundzie. Każdy z tych przypadków wstrzymuje pętlę zdarzeń. Rozwiązania opisują nasz przewodnik po pamięci Redis oraz FAQ o wzroście zużycia pamięci bez przybywania kluczy.
  1. CLIENT LIST. Policzyć połączenia według addr i name. Pula zablokowana na swoim limicie przy kolejkujących się żądaniach oznacza, że „timeout” to czas oczekiwania na wolne połączenie, a nie powolna odpowiedź. Wysokie qbuf lub omem w jednym wpisie wskazuje na pojedynczego wadliwie działającego klienta.
  1. Host. Na maszynie wirtualnej vmstat 1 z niezerową kolumną steal oznacza, że hypervisor zabiera CPU. cat /sys/kernel/mm/transparent_hugepage/enabled powinno zwracać never; Redis i Valkey ostrzegają o tym przy starcie, bo THP wydłuża pauzy forka. Jakiekolwiek użycie swapu na hoście Redis to ustalenie do raportu.
  1. Ustawienia klienta na końcu. Dopiero teraz należy przyjrzeć się rozmiarowi puli, timeoutowi gniazda i polityce ponawiania. Zaczynając od tego miejsca, podniesie się timeout, ukryje objaw i za miesiąc wróci się do punktu wyjścia.

W naszej pracy wsparcia krok 2 znajduje przyczynę częściej niż wszystkie pozostałe razem wzięte, a krok 4 jest wyraźnie na drugim miejscu. Przyczyny sieciowe są rzadsze, niż się powszechnie uważa, i dlatego krok 1 rozstrzyga tę kwestię w dwie minuty. Pełniejszy runbook znajduje się w artykule Rozwiązywanie problemów z Redis.

Błędy timeoutu w poszczególnych klientach i co zwykle oznaczają

  • Jedis. JedisConnectionException: Could not get a resource from the pool to wyczerpanie puli: połączenia nie są zwracane (brak close() lub try-with-resources) albo maxTotal jest zbyt niskie w stosunku do liczby wątków. JedisConnectionException opakowujący SocketTimeoutException: Read timed out to timeout odczytu, często domyślne 2000 ms przekroczone przez jedno wolne polecenie z kroku 2.
  • Lettuce. RedisCommandTimeoutException: Command timed out after 1 minute(s) to domyślne 60 sekund, dlatego żądania w Lettuce zawieszają się, zamiast szybko kończyć się błędem. Lettuce multipleksuje polecenia na jednym połączeniu, więc jedno wolne polecenie blokuje kolejkę dla wszystkich za nim. Podczas ponownego łączenia polecenia gromadzą się w pamięci, a potem hurtowo przekraczają limit czasu.
  • StackExchange.Redis. RedisTimeoutException: Timeout performing GET (5000ms), inst: 0, qu: 0, qs: 12, aw: False, in: 65536, ... czyta się tak: qs to polecenia wysłane i oczekujące na odpowiedź, qu to polecenia jeszcze niezapisane, in to bajty już odebrane, ale jeszcze nieprzetworzone, a mgr pokazuje stan menedżera gniazd. Wysokie in przy wysokim qs oznacza, że odpowiedź dotarła, ale klient nie mógł jej odczytać, czyli głodzenie puli wątków, zwykle wskutek blokowania na .Result lub .Wait() w kodzie obsługi żądań webowych. Należy sprawdzić linię WORKER w tym samym komunikacie: wartość busy powyżej min jest potwierdzeniem.
  • node-redis i ioredis. Oba oddzielają timeout połączenia od zachowania poleceń. ioredis ma connectTimeout, commandTimeout i maxRetriesPerRequest (domyślnie 20), więc MaxRetriesPerRequestError oznacza, że pętla ponownego łączenia się poddała, a nie że Redis był wolny. retryStrategy, który bez końca zwraca krótkie opóźnienie, zalewa logi i nigdy nie ujawnia prawdziwego błędu. node-redis używa reconnectStrategy i w starszych wersjach nie ma timeoutu dla pojedynczych poleceń, więc zawieszony serwer skutkuje wiszącymi promise'ami zamiast błędów.
  • redis-py. socket_connect_timeout ogranicza czas handshake'u TCP; socket_timeout ogranicza każdy odczyt i domyślnie nie jest ustawiony, więc zawieszone wywołanie czeka w nieskończoność. TimeoutError: Timeout reading from socket dotyczy tego drugiego. health_check_interval wysyła PING przed ponownym użyciem bezczynnego połączenia, co eliminuje ConnectionError: Connection closed by server po tym, jak firewall zerwie bezczynne gniazda.
  • Klienci Go. context deadline exceeded dotyczy kontekstu wywołującego, a nie własnego timeoutu klienta, więc należy sprawdzić oba. redis: connection pool timeout oznacza, że gorutyn jest więcej niż PoolSize i czekały dłużej niż PoolTimeout na wolne połączenie; należy zwiększyć pulę lub znaleźć wyciek gorutyn.

Jeśli wolą Państwo powierzyć to ludziom, którzy robią to na co dzień, nasz zespół wsparcia technicznego Redis pełni dyżur 24/7 z docelowymi czasami reakcji od 15 minut, zależnie od planu, a doradztwo Redis naprawia problemy u źródła, w samym projekcie.

Pomoc przy timeoutach klienta Redis i problemach z połączeniami

Występują timeouty Redis, które nie korelują z niczym widocznym w metrykach serwera Redis? To dokładnie ten rodzaj wielowarstwowego problemu — klient, sieć lub serwer — do którego izolowania, a nie zgadywania, służy ustrukturyzowana ocena Redis. AceMQ zapewnia wsparcie techniczne Redis dla firm dla środowisk produkcyjnych. Zapraszamy do rozmowy z inżynierem AceMQ.

To czwarty z siedmiu kroków przewodnika po niezawodności Redis, który omawia problemy w kolejności, w jakiej pojawiają się w środowisku produkcyjnym.

Najczęściej zadawane pytania

Gdzie szukać przyczyny timeoutów Redis, skoro metryki serwera wyglądają dobrze?

W trzech miejscach, w kolejności prawdopodobieństwa: w konfiguracji klienta (wartości timeoutów, rozmiar puli połączeń, zachowanie przy ponawianiu), na ścieżce sieciowej (firewalle, load balancery lub urządzenia NAT po cichu zrywające bezczynne połączenia) oraz w dużych kluczach lub blokujących poleceniach, które wstrzymują jednowątkową pętlę zdarzeń. W rzeczywistym przypadku produkcyjnym 10-sekundowy timeout klienta okazał się w całości skutkiem wyczerpania zasobów po stronie klienta, bez żadnego odpowiadającego mu błędu ani spowolnienia po stronie serwera.

Dlaczego połączenia z Redis zrywają się w konkretnym oknie serwisowym?

To niemal zawsze objaw na warstwie sieciowej, a nie problem z Redis. Zaplanowane prace serwisowe na firewallu, load balancerze lub bramie NAT mogą po cichu zrywać nawiązane połączenia TCP z klastrem Redis. Można to potwierdzić, sprawdzając, czy incydenty pokrywają się z cyklicznym harmonogramem, a nie z obciążeniem, i pytając zespół sieciowy wprost o okna serwisowe.

Jakie ustawienia po stronie klienta naprawdę rozwiązują problemy z timeoutami Redis?

Najważniejsze są dwa: TCP keepalive oraz strojenie ponawiania i timeoutów na poziomie klienta. Włączenie TCP keepalive z interwałem krótszym niż limit bezczynności połączenia na firewallu lub NAT zapobiega cichemu zrywaniu połączeń, a konfiguracja timeoutu poleceń, keepalive na poziomie gniazda i polityki ponawiania w bibliotece klienckiej (np. Lettuce dla Java/Spring) zamyka resztę luki.

Czy przyczyną timeoutów Redis mogą być duże klucze?

Tak. Redis wykonuje polecenia w jednym wątku, więc polecenie na bardzo dużym hashu, zbiorze posortowanym lub stringu może zablokować pętlę zdarzeń na tyle długo, że polecenia innych klientów ustawią się w kolejce i przekroczą limit czasu. Aby to sprawdzić, należy uruchomić redis-cli --bigkeys lub MEMORY USAGE <key> i zwrócić uwagę na HGETALL, SMEMBERS lub LRANGE używane bez limitów na kluczach o rozmiarze wielu megabajtów.

Jak systematycznie diagnozować timeout klienta Redis?

Najpierw należy potwierdzić, że problem leży po stronie klienta, sprawdzając logi serwera Redis i wynik INFO pod kątem czegokolwiek, co pokrywa się z oknem timeoutu. Następnie sprawdzić korelację z harmonogramem, porównać konfigurację klienta z tolerancją ścieżki sieciowej na bezczynne połączenia, wykluczyć duże klucze i polecenia blokujące, a jeśli problem nie ustępuje — zebrać dowody na poziomie pakietów.

Czy diagnoza timeoutów Redis wymaga specjalistycznej wiedzy o Redis?

Naprawdę na niej zyskuje, ponieważ timeout wygląda identycznie niezależnie od tego, czy przyczyna leży po stronie Redis, klienta czy sieci, a zespoły bez doświadczenia z Redis zwykle zaczynają od strojenia serwera. Oba przypadki produkcyjne opisane w tym artykule wymagały współpracy zespołów aplikacyjnych, DevOps i sieciowych, aby wyizolować warstwę faktycznie odpowiedzialną za problem.

Bezpłatna konsultacja

Ekspercka ocena: Wdrożenie Redis

Niezależnie od tego, czy rozwiązują Państwo incydent produkcyjny, planują migrację, czy chcą poznać drugą opinię o architekturze – nasz zespół jest gotowy. Bez sprzedażowych prezentacji, same odpowiedzi.

Napisz do nas