이 페이지의 내용
INFO memory를 확인하면 사용 메모리가 계속 오르고 있습니다. 키 수를 확인하면 그대로이거나 오히려 줄고 있습니다. Redis 운영에서 가장 당혹스러운 장애 패턴 중 하나입니다. 계산이 맞지 않으니, 팀들은 진짜 원인을 찾기 전에 엉뚱한 곳을 며칠씩 뒤지곤 합니다.
이 글에서는 몇 주에 걸친 실제 운영 환경 조사를 바탕으로, 결정적이었던 명령어와 임계값을 포함해 진단과 해결 과정을 따라갑니다.
키 수가 그대로인데 메모리는 왜 계속 늘어날까요?
대부분의 경우 답은 이것입니다. 키가 아니라 인덱스 때문입니다.
RediSearch(전문 검색/보조 인덱스 모듈)나 그와 비슷한 인덱싱 모듈을 쓰고 있다면, 인덱스 자체가 기본 키스페이스와 별개로 메모리를 사용합니다. 의도보다 훨씬 자주 재구축되거나 갱신되는 바람에 끝없이 커지는 인덱스는 DBSIZE에 아무 이상이 없는 동안에도 maxmemory 한도를 향해 커질 수 있습니다.
여러 차례 세션에 걸친 Redis 진단에서 바로 이 문제가 직접 진단되었습니다. 팀은 메모리 누수가 Redis 전문 검색 인덱싱 플러그인과 관련되어 있으며, 메모리 사용률이 60% 가까이 올라가 재인덱싱 작업 중 크래시를 일으킨다는 것을 확인했습니다. Justin Clark와 Eugene Abovsky는 이를 하드웨어나 구성 문제가 아니라 인덱싱 모듈의 소프트웨어 버그로 판단했으며, 기본 키스페이스에서 일어나는 문제는 전혀 아니었습니다.
첫 번째 진단 단계: 각 검색 인덱스에 FT.INFO <index_name>을 실행하고 보고되는 인덱스 메모리 사용량을 확인하십시오. 이를 INFO memory의 전체 used_memory와 비교합니다. 인덱스가 불균형하게 큰 비중을 차지하고 그 비중이 늘어나고 있다면, 누수의 출처를 찾은 것입니다. 데이터가 아니라 그 위에 얹힌 인덱스 구조에 있습니다.
인덱스에서 이런 메모리 누수가 생기는 구체적인 원인은 무엇일까요?
가장 흔한 근본 원인은 빈번하지만 가치가 낮은 업데이트로 인한 과도한 재인덱싱입니다.
한 운영 환경 조사에서 팀은 누수의 원인을 디바이스 하트비트 업데이트로 추적했습니다. 실제 변경이 사소하더라도 하트비트가 올 때마다 해당 문서 전체가 재인덱싱되었습니다. 재인덱싱 작업마다 회수되지 않는 메모리가 남았고, 하트비트가 끊임없이 발생했기 때문에 누수가 몇 시간에 걸쳐 쌓여 결국 인스턴스가 크래시되었습니다.
같은 조사에서 확인된 두 번째 요인은 UUID 필드처럼 인덱싱할 필요가 없는 필드를 인덱싱한 것입니다. UUID는 범위 쿼리나 퍼지 검색의 대상이 되는 경우가 드물기 때문에, UUID 같은 고카디널리티 필드를 인덱싱하면 쿼리상의 이점은 거의 없이 인덱스 메모리 사용량만 크게 부풀어 오릅니다.
자사 배포에 던져 볼 진단 질문:
- 실제로 어떤 필드가 인덱싱되고 있으며, 쿼리가 그 필드를 모두 실제로 쓰고 있습니까?
- 문서 업데이트를 일으키는 것은 무엇입니까? 의미 있는 상태 변경입니까, 아니면 하트비트나 타임스탬프 틱 같은 고빈도 신호입니까?
- 예약된 재인덱싱 작업이 실행되고 있습니까? 그렇다면 실제로 완료되어 메모리를 해제하고 있습니까, 아니면 조용히 실패하고 있습니까?
지금 메모리가 새고 있는 Redis 인스턴스를 가장 빨리 안정시키는 방법은 무엇일까요?
메모리가 한도를 향해 오르고 크래시가 임박한 장애 상황이라면, 검증된 임시 조치가 있습니다. 문제가 된 인덱스를 삭제하고 다시 만드는 것입니다.
근본 원인을 해결하지는 못하지만, 즉각적인 완화책으로서 누수된 메모리를 확실히 회수합니다. 한 장애 사례에서는 인덱스를 삭제하고 다시 만들자 메모리 사용량이 설정된 최댓값의 50%에서 36%로 내려갔습니다. 근본적인 수정책을 개발하는 동안 시스템을 안정시키기에 충분한 여유였습니다.
임시 조치 절차:
FT.INFO로 어느 인덱스가 불균형하게 커지고 있는지 확인합니다- 가능하면 트래픽이 적은 시간대로 삭제/재구축 일정을 잡습니다. 대용량 인덱스 재구축은 즉시 끝나지 않으며 잠시 쿼리 가용성에 영향을 줍니다
FT.DROPINDEX <index_name>을 실행합니다(키가 아니라 인덱스 구조만 제거하려는 것이므로, 기반 hash/JSON 데이터를 보존하려면DD를 붙이지 마십시오)FT.CREATE로 인덱스를 다시 만듭니다- 이후
FT.INFO와INFO memory를 모니터링해 회수 효과가 유지되는지 확인합니다
이 문제가 계속 재발하는 운영 환경에서는 예약 작업으로 자동화할 수도 있지만, 해결책이 아니라 완화책으로 다루십시오. 재인덱싱을 일으키는 원인을 해결하지 않은 채 우회책만 자동화하면 크래시 시점이 뒤로 밀릴 뿐입니다.
크래시를 실제로 막는 구성 변경은 무엇일까요?
재인덱싱을 일으키는 원인 자체를 고치는 것 외에도, 근본적인 수정책을 개발하는 동안 피해 범위를 줄이는 구성 수준의 변경이 두 가지 있습니다.
적절한 축출 정책과 함께 maxmemory를 명시적으로 설정하십시오. 한 장애 사례에서 팀은 중요 고객을 위한 시스템 안정성을 지키려고 새로운 최대 메모리 설정과 함께 allkeys-lru 축출 정책을 적용했습니다. 캐시 적중률이 다소 떨어지는 대신, 메모리 고갈로 인스턴스가 완전히 다운되지 않는다는 보장을 얻은 것입니다. 이는 누수를 조사하는 동안 성능보다 안정성을 택한 의도적인 트레이드오프이며, 반드시 영구적인 설정은 아닙니다.
해당되는 경우 가비지 컬렉션 동작을 튜닝하십시오. 모듈을 많이 쓰는 Redis 배포에서는 메모리 유지 동작을 개선하기 위해 적극적인 GC 튜닝을 시험했습니다. 모듈 벤더가 GC 관련 구성을 제공한다면 검토해 볼 가치가 있습니다.
빈번하지만 가치가 낮은 데이터를 인덱싱된 키와 분리하십시오. 근본 조사에서 확인된 가장 지속적인 해결책은 아키텍처 차원이었습니다. 하트비트 같은 휘발성 데이터를 인덱싱된 키와 완전히 분리해, 일상적인 상태 ping이 아예 재인덱싱을 일으키지 않게 하는 것입니다. 애플리케이션 패턴상 대체로 안정적인 문서의 일부 필드만 자주 갱신된다면, 그 휘발성 필드를 인덱싱되지 않는 별도의 키에 저장하는 방안을 검토하십시오.
이 문제를 해결하려면 Redis 버전을 업그레이드해야 할까요?
그럴 수도 있지만 먼저 구체적인 버그를 검증하십시오. 이 글 전반에서 다룬 조사에서는, 해당 환경이 오래된 릴리스를 쓰고 있었으므로 메모리 누수가 이후 Redis 버전에서 이미 알려지고 패치된 문제인지 검토하는 것이 진단 과정의 일부였습니다. 검색 모듈의 소스 코드를 독립적으로 분석해, 알려진 패치 버전이 관측된 누수 패턴을 해결하는지 확인했습니다.
업그레이드를 해결책으로 확정하기 전에 다음을 확인하십시오.
- 사용 중인 모듈 버전에 대해 이후 릴리스에서 문서화된 메모리 누수 수정이 있는지
- 누수가 실제로 모듈 자체의 문제인지, 아니면 인덱싱 패턴의 문제인지(업그레이드로는 UUID 인덱싱 문제가 해결되지 않습니다)
- 테스트를 마친 롤백 계획이 있는지. 운영 환경의 Redis 버전 업그레이드는 다른 스테이트풀 서비스 업그레이드와 똑같이 신중해야 합니다
이것이 Valkey로의 마이그레이션을 검토할 이유가 될까요?
특히 라이선스 문제도 함께 검토하고 있다면, 더 넓은 개선 계획의 일부로 평가해 볼 가치가 있습니다. 바로 이런 모듈 관련 불안정을 겪은 일부 팀은 조사를 계기로 Valkey 호환성을 병행 테스트했습니다. 어느 쪽으로든 결정하기 전에 기존 클라이언트 코드와 인덱싱 패턴이 Valkey에서 똑같이 동작하는지 검증한 것입니다. 이 결정은 별도의 글에서 더 자세히 다룹니다.
안정화한 뒤 상시 모니터링은 어떻게 해야 할까요?
당장의 크래시 위험을 해결했다면, 같은 문제가 조용히 재발하지 않도록 상시 모니터링을 갖추십시오.
- 전체
used_memory만이 아니라 인덱스 메모리를 별도 지표로 추적하십시오. 대시보드에FT.INFO메모리를 전체 메모리와 나란히 표시하면, 다음 누수를 사용률 60%에 이르러서가 아니라 일찍 발견할 수 있습니다. - 재인덱싱 작업의 빈도와 소요 시간에 알림을 거십시오. 재인덱싱 주기가 예기치 않게 바뀌면, 즉 더 잦아지거나 조용히 완료되지 못하면 그것이 조기 경보입니다.
- maxmemory 축출 정책이 실제 데이터 손실 허용 범위와 맞는지 확인하십시오.
allkeys-lru는 안정성을 지켜 주지만 압박을 받으면 데이터를 축출합니다. 사용 사례상 이를 받아들일 수 없다면, 진짜 해결책은 축출 정책이 아니라 재인덱싱을 일으키는 원인을 고치는 것입니다.
Redis 메모리 누수와 인덱스 증가에 관한 도움 받기
키 수와 무관하게 Redis 메모리가 오르고 있습니까? 저희는 이런 패턴을 실제 원인, 즉 인덱스 증가, 재인덱싱 유발 요인, 그리고 일반적인 인프라 튜닝으로는 잡히지 않는 모듈 버그까지 추적합니다. AceMQ는 운영 환경을 위한 엔터프라이즈 Redis 기술 지원을 제공합니다. AceMQ 엔지니어와 상담하십시오.
이 글은 Redis 안정성 가이드의 7단계 중 세 번째 단계입니다. 이 가이드는 운영 환경에서 문제가 나타나는 순서대로 다룹니다.
자주 묻는 질문
Redis 키 수가 그대로인데 메모리는 왜 계속 늘어나나요?
대부분의 경우 증가분은 키스페이스가 아니라 인덱스에서 나옵니다. RediSearch를 비롯한 인덱싱 모듈은 기본 키스페이스와 별개로 메모리를 사용하며, 너무 자주 재구축되거나 갱신되는 인덱스는 DBSIZE에 아무 이상이 없는 동안에도 maxmemory를 향해 커질 수 있습니다. 각 검색 인덱스에 FT.INFO <index_name>을 실행해 인덱스 메모리 사용량을 INFO memory의 전체 used_memory와 비교해 확인하십시오.
Redis 인덱스에서 이런 메모리 누수가 생기는 원인은 무엇인가요?
가장 흔한 근본 원인은 빈번하지만 가치가 낮은 업데이트로 인한 과도한 재인덱싱입니다. 예를 들어 ping이 올 때마다 문서 전체를 재인덱싱하게 만드는 하트비트 필드가 그렇습니다. 또 다른 요인은 고카디널리티 UUID 필드처럼 인덱싱할 필요가 없는 필드를 인덱싱하는 것으로, 쿼리상의 이점은 거의 없이 인덱스 메모리 사용량만 부풀립니다.
지금 메모리가 새고 있는 Redis 인스턴스를 가장 빨리 안정시키는 방법은 무엇인가요?
문제가 된 인덱스를 삭제하고 다시 만드십시오. 근본 원인을 해결하지는 못하지만, 즉각적인 완화책으로서 누수된 메모리를 확실히 회수합니다. 한 장애 사례에서는 사용량이 설정된 최댓값의 50%에서 36%로 내려갔습니다. 트래픽이 적은 시간대로 일정을 잡고, FT.INFO로 커지고 있는 인덱스를 확인한 다음, 데이터를 보존하려면 DD 없이 FT.DROPINDEX를 실행하고 FT.CREATE로 다시 만드십시오.
Redis 메모리 누수로 인한 크래시를 실제로 막는 구성 변경은 무엇인가요?
캐시 적중률이 다소 떨어지더라도 메모리 고갈로 인스턴스가 완전히 다운되지 않도록, allkeys-lru 축출 정책과 함께 maxmemory를 명시적으로 설정하십시오. 모듈 벤더가 가비지 컬렉션 설정을 제공한다면 튜닝하십시오. 가장 지속적인 해결책은 하트비트처럼 빈번하지만 가치가 낮은 데이터를 인덱싱된 키와 분리해, 일상적인 업데이트가 아예 재인덱싱을 일으키지 않게 하는 것입니다.
메모리 누수를 해결하려면 Redis 버전을 업그레이드해야 하나요?
그럴 수도 있지만 먼저 구체적인 버그를 검증하십시오. 업그레이드를 결정하기 전에, 사용 중인 모듈 버전에 대해 이후 릴리스에서 문서화된 메모리 누수 수정이 있는지, 누수가 실제로 모듈 문제인지 아니면 인덱싱 패턴 문제인지, 그리고 테스트를 마친 롤백 계획이 있는지 확인하십시오.
Redis 메모리 누수는 Valkey로의 마이그레이션을 검토할 이유가 되나요?
특히 라이선스 문제도 함께 검토하고 있다면, 더 넓은 개선 계획의 일부로 평가해 볼 가치가 있습니다. Valkey 호환성을 병행 테스트해 클라이언트 코드와 인덱싱 패턴이 똑같이 동작하는지 검증하면, 미리 결정하지 않고도 이 선택지를 평가할 수 있습니다.
Redis 메모리 누수를 안정화한 뒤 상시 모니터링은 어떻게 해야 하나요?
집계된 수치에만 의존하지 말고 전체 used_memory와 함께 인덱스 메모리를 별도 지표로 추적하십시오. 재인덱싱 작업의 빈도와 소요 시간에 알림을 걸어 예상치 못한 변화를 일찍 잡아내십시오. allkeys-lru는 안정성을 지켜 주지만 압박을 받으면 데이터를 축출하므로, maxmemory 축출 정책이 실제 데이터 손실 허용 범위와 맞는지 확인하십시오.