이 페이지의 내용
팀이 INFO server, INFO clients, INFO memory를 확인해 보면 모두 정상입니다. CPU 사용률은 낮고, 메모리도 한도 안에 있으며, 슬로 로그 항목도 없습니다. 그런데도 애플리케이션은 계속 Redis 타임아웃 예외를 던지고, Redis에 의존하는 서비스는 성능이 떨어지거나 실패합니다.
이는 실제로 흔하면서도 매우 헷갈리는 장애 유형입니다. 본능적으로 서버부터 살펴보게 되기 때문입니다. 저희가 다룬 사례에서 문제가 서버에 있었던 경우는 거의 없었습니다.
서버가 정상인데 Redis 타임아웃이 발생하면 실제로 어디를 봐야 하나요?
가능성이 높은 순서로 세 곳입니다.
- 클라이언트 설정: 특히 타임아웃 값, 커넥션 풀 크기, 재시도 동작입니다.
- 네트워크 경로: 애플리케이션과 Redis 사이에서 유휴 연결을 조용히 끊는 방화벽, 로드 밸런서, NAT 장비입니다.
- 대용량 키나 블로킹 명령: 서버가 "다운"되지 않았는데도 클라이언트 측 타임아웃을 일으킬 만큼 싱글 스레드 Redis 이벤트 루프를 오래 막는 작업입니다.
실제 운영 사례를 보면 더 분명해집니다. 한 고객 프로젝트는 마이크로서비스 장애를 일으키던 10초 클라이언트 타임아웃 하나를 중심으로 범위가 정해졌습니다. 조사 결과 오류는 Redis 서버가 아니라 클라이언트 측에서 발생하고 있었으며, 서버에는 이에 대응하는 서버 측 오류나 성능 저하 기록이 없었습니다. 근본 원인을 찾으려면 Redis 인스턴스 자체가 아니라 클라이언트와 애플리케이션 측의 리소스 고갈 패턴을 더 깊이 분석해야 했습니다.
특정 유지보수 시간대에 연결이 계속 끊깁니다. 무슨 일이 일어나고 있는 걸까요?
이는 네트워크 계층의 증상이며, 방화벽 유지보수 일정이 있는 클라우드 및 엔터프라이즈 네트워크 환경에서는 팀들이 예상하는 것보다 훨씬 흔합니다.
한 사례에서는 방화벽 유지보수 작업으로 Redis 클러스터로의 모든 TCP 연결이 동시에 끊겼습니다. 유지보수 자체는 3~5분 걸렸지만, 그 결과 네트워크가 완전히 중단되어 애플리케이션을 수동으로 재시작해야 했습니다. 이는 Redis 문제가 전혀 아니었습니다. 애플리케이션과 Redis 사이의 네트워크 경로에 있는 인프라가 정기 방화벽 업그레이드 중 맺어져 있던 연결을 조용히 종료한 것입니다.
이 문제가 맞는지 확인하는 방법:
- 타임아웃 장애가 부하 패턴이 아니라 반복되는 일정(매일 밤, 매주)과 연관되는지 확인합니다
- 예정된 방화벽, 로드 밸런서, NAT 게이트웨이 유지보수 시간대가 있는지 네트워크 팀에 직접 문의합니다
- 가능하다면 해당 시간대의 트래픽을 캡처합니다. 대응하는 Redis 서버 측 로그 없이 깔끔한 TCP RST나 조용한 연결 끊김이 보인다면, 원인은 Redis가 아니라 네트워크 계층입니다
Redis 타임아웃 문제를 실제로 해결하는 클라이언트 설정은 무엇인가요?
가장 중요한 설정은 두 가지이며, 실제 문제 해결 프로젝트에서 적용한 수정도 바로 이것이었습니다. TCP keepalive와 클라이언트 수준의 재시도·타임아웃 튜닝입니다.
TCP keepalive. keepalive가 꺼져 있으면 방화벽이나 NAT 장비 뒤의 유휴 연결은 조용히 종료되기 쉽습니다. OS 수준의 TCP 스택은 실제로 연결을 사용하려고 할 때까지 연결이 끊긴 사실을 모르며, 그 시점에는 깔끔한 재연결 대신 타임아웃이 발생합니다. 방화벽/NAT의 유휴 연결 타임아웃보다 충분히 짧은, 다소 공격적인 간격으로 TCP keepalive를 활성화하면 주기적인 no-op 패킷으로 연결이 유지되거나, 애플리케이션이 사용하기 전에 커넥션 풀이 끊긴 연결을 교체할 수 있을 만큼 빨리 실패가 드러납니다.
클라이언트 라이브러리의 재시도 및 타임아웃 설정. Lettuce Redis 클라이언트(Spring Data Redis에서 흔히 사용)를 쓰는 Java 애플리케이션이라면 다음을 명시적으로 설정해야 합니다.
- 명령 타임아웃(포기하기 전까지 Redis 응답을 기다리는 시간)
- OS 수준만이 아니라 클라이언트 라이브러리 수준의 소켓 keepalive 옵션
- 일시적인 연결 실패에 대한 재시도 정책. "connection refused"(빠르게 실패)와 "connection reset"(재시도해도 안전)을 구분해야 합니다
한 운영 환경 문제 해결 프로젝트에서는 서버와 클라이언트 양쪽에 권장하는 TCP keepalive 및 재시도 설정을 담은 요약 보고서를 작성했고, 이어서 고객의 Redis 클러스터와 Lettuce 클라이언트의 타임아웃 및 재시도 파라미터에 대한 구체적인 설정 튜닝 가이드를 제공했습니다.
대용량 키가 대신 타임아웃을 일으키고 있을 수도 있나요?
그렇습니다. 이미 네트워크나 클라이언트 측의 원인을 찾았더라도 이 가능성은 배제해 볼 가치가 있습니다. 대용량 키가 문제를 더 키울 수 있기 때문입니다.
Redis는 명령을 싱글 스레드로 실행합니다. 매우 큰 키(거대한 해시, 방대한 정렬 집합, 큰 문자열)를 다루는 명령 하나가 이벤트 루프를 오래 막으면, 전체 CPU와 메모리 메트릭으로는 서버가 정상으로 "보이더라도" 다른 클라이언트의 명령이 대기열에 쌓이다가 결국 타임아웃됩니다.
이 패턴에 대한 해당 조사에서는 네트워크 계층 수정과 함께, 성능 최적화 방안으로 대용량 Redis 키의 압축 기법도 구체적으로 검토했습니다. 실제 배포 환경에서는 타임아웃의 근본 원인이 단일 요인이 아니라, 아슬아슬한 네트워크 안정성에 가끔 발생하는 대용량 키 작업이 겹쳐 지연 시간이 클라이언트의 타임아웃 임계값을 넘는 경우가 많기 때문입니다.
확인 방법: 대표적인 트래픽 시간대에 redis-cli --bigkeys를 실행하거나, 의심되는 대용량 키에 MEMORY USAGE <key>를 사용합니다. 수 MB 크기의 키가 HGETALL, SMEMBERS, LRANGE 같은 명령으로 범위 제한 없이 조회되고 있다면 유력한 원인 후보입니다.
추측하지 않고 체계적으로 진단하는 방법은 무엇인가요?
다음 순서로 진행하십시오.
- 클라이언트 측 문제인지 확정합니다. Redis 서버 로그와
INFO출력에서 타임아웃 시간대와 연관된 내용이 있는지 확인합니다. 서버에 아무것도 나타나지 않는다면 문제는 Redis 자체보다 앞단에 있는 것입니다. - 일정과의 연관성을 확인합니다. 특정 시각이나 특정 요일에 발생하나요? 그렇다면 네트워크 인프라 유지보수를 의심해야 합니다.
- 클라이언트 설정을 검토합니다. 명령 타임아웃, 커넥션 풀 크기, TCP keepalive 설정을 실제 네트워크 경로의 유휴 연결 허용 시간과 비교합니다.
- 대용량 키와 블로킹 명령을 배제합니다.
--bigkeys를 실행하고, 크기 제한이 없는 컬렉션을 다루는 명령 패턴이 있는지 검토합니다. - 위 단계로 해결되지 않으면 패킷 수준의 증거를 수집합니다. 재현 시간대의 트래픽을 캡처하면 연결이 네트워크 장비에 의해 리셋되는지, 클라이언트 측에서 타임아웃되는지 확실하게 알 수 있습니다.
일반 인프라 팀이 진단할 수 있는 문제인가요, 아니면 Redis 전문 지식이 필요한가요?
Redis 전문 지식이 있으면 실제로 큰 도움이 됩니다. 원인이 Redis 측이든, 클라이언트 측이든, 네트워크 측이든 증상(타임아웃)은 똑같아 보이고, Redis 운영 경험이 깊지 않은 팀은 엉뚱한 계층부터 튜닝하는 경우가 많기 때문입니다. 대개는 이름에 "Redis"가 들어간 구성 요소인 서버부터 손을 댑니다.
이 글에서 언급한 두 운영 사례 모두 실제 원인 계층을 가려내기 위해 팀 간 협업이 필요했습니다. 애플리케이션/DevOps 팀이 Redis 전문가와 함께 작업했고, 방화벽 사례에서는 네트워크/보안 팀도 직접 참여했습니다. 이처럼 여러 부서가 함께하는 진단 과정이야말로 체계적인 Redis 진단 평가가 진가를 발휘하는 지점입니다. 정답을 "Redis 튜닝"으로 미리 가정하지 않고, 장애가 실제로 발생한 곳까지 추적하기 때문입니다.
Redis 타임아웃 10분 진단법
저희가 명령을 실행하는 순서와, 각 결과로 무엇을 확인하거나 배제할 수 있는지 정리했습니다. 모든 내용은 Valkey에도 그대로 적용됩니다.
- 클라이언트 호스트에서, 이어서 서버 호스트에서
redis-cli --latency를 실행합니다. 양쪽에서 몇 분간--latency-history를 실행합니다. 클라이언트 호스트에서만 지연 급증이 보이면 원인은 네트워크 경로나 클라이언트 머신이며, Redis에서 무엇을 해도 해결되지 않습니다. 양쪽 모두에서 급증이 보이면 서버가 멈추고 있는 것이므로 다음 단계로 넘어갑니다.
SLOWLOG GET 25와INFO commandstats. slowlog는slowlog-log-slower-than(기본값 10 ms)을 초과한 개별 명령을 보여 줍니다. commandstats는 명령 유형별usec_per_call을 보여 주므로, 개별 호출이 slowlog에 기록되지 않았더라도 평균 40 ms가 걸리는KEYS를 잡아낼 수 있습니다. 흔한 원인은KEYS, 큰 집합에 대한SMEMBERS, 필드가 많은 해시에 대한HGETALL,SUNION같은 집합 연산, 그리고 루프를 도는 Lua 스크립트입니다. 이들은 실행되는 동안 다른 모든 클라이언트를 막습니다.
INFO clients.BLPOP이나 스트림을 쓴다면blocked_clients가 0보다 큰 것이 정상입니다. 그렇지 않다면 무언가가 끝내 도착하지 않는 키를 기다리고 있는 것입니다.client_recent_max_output_buffer를CONFIG GET client-output-buffer-limit와 비교하십시오. 느린 구독자나 레플리카가 버퍼를 채우면 한도에 걸려 서버가 연결을 끊고, 클라이언트는 이를 타임아웃으로 보고합니다.
INFO persistence.rdb_bgsave_in_progress,aof_rewrite_in_progress,latest_fork_usec를 타임아웃 발생 시각과 비교합니다. 큰 데이터셋에서 fork가 일어나면 메인 스레드가 수백 밀리초 동안 멈추고, 이어지는 copy-on-write가 모든 쓰기를 느리게 만듭니다. 매시 같은 분에 발생하는 타임아웃은 거의 항상 예약된BGSAVE입니다.
INFO stats.evicted_keys가 급증했다면maxmemory에 도달해 서버가 축출 대상을 고르는 데 시간을 쓰고 있다는 뜻이고,expired_keys가 급증했다면 많은 키가 같은 초에 만료되는 TTL 절벽이 생긴 것입니다. 둘 다 이벤트 루프를 멈추게 합니다. 해결 방법은 Redis 메모리 가이드와 키가 늘지 않았는데 메모리가 증가하는 경우에 관한 FAQ에서 다룹니다.
CLIENT LIST.addr와name별로 연결 수를 셉니다. 요청이 대기하는 동안 풀이 상한에 고정되어 있다면, "타임아웃"은 느린 응답이 아니라 빈 연결을 기다리는 데 쓴 시간입니다. 특정 항목의qbuf나omem이 높다면 오동작하는 클라이언트 하나를 가리킵니다.
- 호스트. VM이라면
vmstat 1의 steal 열이 0이 아닐 경우 하이퍼바이저가 CPU를 가져가고 있다는 뜻입니다.cat /sys/kernel/mm/transparent_hugepage/enabled의 결과는never여야 합니다. THP는 fork 멈춤을 키우기 때문에 Redis와 Valkey는 시작 시 이에 대해 경고합니다. Redis 호스트에서 스왑이 조금이라도 사용되고 있다면 그 자체가 문제입니다.
- 클라이언트 설정은 마지막에. 이 시점에서야 풀 크기, 소켓 타임아웃, 재시도 정책을 살펴봅니다. 여기서부터 시작하면 타임아웃 값만 늘려 증상을 가리게 되고, 한 달 뒤에 같은 문제로 돌아오게 됩니다.
저희 기술 지원 경험상 2단계에서 원인이 발견되는 경우가 나머지 단계를 모두 합친 것보다 많고, 4단계가 확실한 2위입니다. 네트워크 원인은 사람들이 예상하는 것보다 드물며, 그래서 1단계에서 2분 만에 이 문제를 정리하는 것입니다. 더 자세한 런북은 Redis 트러블슈팅을 참고하십시오.
클라이언트별 타임아웃 오류와 그 일반적인 의미
- Jedis.
JedisConnectionException: Could not get a resource from the pool은 풀 고갈입니다. 연결이 반환되지 않았거나(close()또는 try-with-resources 누락), 스레드 수에 비해maxTotal이 너무 낮은 경우입니다.SocketTimeoutException: Read timed out을 감싼JedisConnectionException은 읽기 타임아웃이며, 2단계에서 찾을 수 있는 느린 명령 하나가 기본값 2,000 ms에 걸린 경우가 많습니다. - Lettuce.
RedisCommandTimeoutException: Command timed out after 1 minute(s)는 기본값 60초에 걸린 것이며, Lettuce 요청이 빠르게 실패하지 않고 멈춰 있는 것처럼 보이는 이유입니다. Lettuce는 하나의 연결에서 명령을 멀티플렉싱하므로, 느린 명령 하나가 뒤에 있는 모든 명령의 대기열을 붙잡습니다. 재연결 중에는 명령이 메모리에 쌓였다가 한꺼번에 타임아웃됩니다. - StackExchange.Redis.
RedisTimeoutException: Timeout performing GET (5000ms), inst: 0, qu: 0, qs: 12, aw: False, in: 65536, ...은 다음과 같이 읽습니다.qs는 전송 후 응답을 기다리는 명령,qu는 아직 쓰이지 않은 명령,in은 이미 수신했지만 아직 처리되지 않은 바이트 수,mgr은 소켓 매니저 상태입니다.in과qs가 모두 높다면 응답은 도착했지만 클라이언트가 읽지 못했다는 뜻으로, 스레드 풀 고갈이며 대개 웹 요청 코드에서.Result나.Wait()로 블로킹한 것이 원인입니다. 같은 메시지의WORKER줄을 확인하십시오. busy가 min보다 높다면 확정입니다. - node-redis와 ioredis. 둘 다 연결 타임아웃과 명령 동작을 분리합니다. ioredis에는
connectTimeout,commandTimeout,maxRetriesPerRequest(기본값 20)가 있으므로,MaxRetriesPerRequestError는 Redis가 느렸다는 뜻이 아니라 재연결 루프가 포기했다는 뜻입니다. 짧은 지연 시간을 끝없이 반환하는retryStrategy는 로그만 쏟아낼 뿐 실제 오류를 드러내지 못합니다. node-redis는reconnectStrategy를 사용하며, 구버전에는 명령별 타임아웃이 없어 서버가 멈추면 오류 대신 응답 없는 promise가 남습니다. - redis-py.
socket_connect_timeout은 TCP 핸드셰이크 시간을 제한하고,socket_timeout은 각 읽기 시간을 제한하며 기본값은 없음(none)이라 멈춘 호출은 영원히 기다립니다.TimeoutError: Timeout reading from socket은 후자입니다.health_check_interval은 유휴 연결을 재사용하기 전에PING을 보내므로, 방화벽이 유휴 소켓을 끊은 뒤 발생하는ConnectionError: Connection closed by server를 해결합니다. - Go 클라이언트.
context deadline exceeded는 클라이언트 자체 타임아웃이 아니라 호출자의 context에서 발생한 것이므로 양쪽을 모두 확인하십시오.redis: connection pool timeout은 goroutine 수가PoolSize를 넘어 빈 연결을PoolTimeout이상 기다렸다는 뜻입니다. 풀을 늘리거나 goroutine 누수를 찾으십시오.
이 일을 매일 하는 전문가에게 맡기고 싶다면, AceMQ Redis 기술 지원 팀이 플랜에 따라 15분부터 시작하는 대응 목표로 24/7 대기하고 있으며, Redis 컨설팅으로 근본적인 설계 문제를 해결합니다.
Redis 클라이언트 타임아웃 및 연결 문제 지원받기
Redis 서버 메트릭에서는 아무것도 보이지 않는데 Redis 타임아웃이 발생하고 있습니까? 클라이언트, 네트워크, 서버가 얽힌 이런 계층적인 문제야말로 체계적인 Redis 진단 평가가 추측이 아닌 근거로 가려내도록 설계된 영역입니다. AceMQ는 운영 환경을 위한 엔터프라이즈 Redis 기술 지원을 제공합니다. AceMQ 엔지니어와 상담하십시오.
이 글은 운영 환경에서 문제가 발생하는 순서대로 다루는 Redis 안정성 가이드의 7단계 중 4단계입니다.
자주 묻는 질문
서버 메트릭은 정상인데 Redis 타임아웃이 발생하면 어디부터 확인해야 하나요?
가능성이 높은 순서로 세 곳입니다. 클라이언트 설정(타임아웃 값, 커넥션 풀 크기, 재시도 동작), 네트워크 경로(유휴 연결을 조용히 끊는 방화벽, 로드 밸런서, NAT 장비), 그리고 싱글 스레드 이벤트 루프를 멈추게 하는 대용량 키나 블로킹 명령입니다. 실제 운영 사례에서는 10초 클라이언트 타임아웃의 원인이 전적으로 클라이언트 측 리소스 고갈이었으며, 이에 대응하는 서버 측 오류나 성능 저하는 전혀 없었습니다.
특정 유지보수 시간대에만 Redis 연결이 끊기는 이유는 무엇인가요?
이는 거의 항상 Redis 문제가 아니라 네트워크 계층의 증상입니다. 예정된 방화벽, 로드 밸런서, NAT 게이트웨이 유지보수가 Redis 클러스터로 맺어진 TCP 연결을 조용히 종료할 수 있습니다. 장애가 부하가 아니라 반복되는 일정과 연관되는지 확인하고, 네트워크 팀에 유지보수 시간대를 직접 문의해 확인하십시오.
Redis 타임아웃 문제를 실제로 해결하는 클라이언트 설정은 무엇인가요?
가장 중요한 설정은 TCP keepalive와 클라이언트 수준의 재시도·타임아웃 튜닝 두 가지입니다. 방화벽이나 NAT의 유휴 연결 타임아웃보다 짧은 간격으로 TCP keepalive를 활성화하면 연결이 조용히 종료되는 것을 막을 수 있고, 클라이언트 라이브러리 수준(예: Java/Spring의 Lettuce)에서 명령 타임아웃, 소켓 수준 keepalive, 재시도 정책을 설정하면 나머지 공백이 메워집니다.
대용량 키가 Redis 타임아웃의 원인일 수 있나요?
그렇습니다. Redis는 명령을 싱글 스레드로 실행하므로, 매우 큰 해시, 정렬 집합(sorted set), 문자열에 대한 명령 하나가 이벤트 루프를 오래 막으면 다른 클라이언트의 명령이 대기열에 쌓여 타임아웃됩니다. redis-cli --bigkeys나 MEMORY USAGE <key>로 확인하고, 수 MB 크기의 키에 HGETALL, SMEMBERS, LRANGE를 범위 제한 없이 사용하는지 살펴보십시오.
Redis 클라이언트 타임아웃을 체계적으로 진단하는 방법은 무엇인가요?
먼저 Redis 서버 로그와 INFO 출력에서 타임아웃 시간대와 연관된 내용이 있는지 확인해 클라이언트 측 문제인지 확정합니다. 그런 다음 일정과의 연관성을 확인하고, 클라이언트 설정을 네트워크 경로의 유휴 연결 허용 시간과 대조하고, 대용량 키와 블로킹 명령을 배제한 뒤, 문제가 계속되면 패킷 수준의 증거를 수집합니다.
Redis 타임아웃 진단에 Redis 전문 지식이 필요한가요?
실제로 큰 도움이 됩니다. 원인이 Redis 측이든, 클라이언트 측이든, 네트워크 측이든 타임아웃은 똑같아 보이고, Redis 경험이 없는 팀은 대개 서버부터 튜닝하기 때문입니다. 이 글에서 언급한 두 운영 사례 모두 실제 원인 계층을 가려내기 위해 애플리케이션, DevOps, 네트워크 팀 간의 협업이 필요했습니다.