전체 사례로 돌아가기

기술 지원소프트웨어 / 디지털 플랫폼

올라가기만 하고 내려오지 않는 메모리

실시간 화면 공유 SaaS 플랫폼 기업

Redis 클러스터가 상한선을 넘어 계속 커지는 원인을 찾고, 유지보수 시간 없이 이를 멈추기 위해 열네 시간에 걸쳐 여섯 차례 라이브 세션을 진행했습니다.

개요

실시간 화면 공유 서비스를 운영하는 한 SaaS 플랫폼에서는 Redis 클러스터의 메모리가 재시작 사이에 꾸준히 늘어나기만 하고 다시 줄어들지 않았습니다. 재시작하면 메모리가 비워졌기 때문에 그럭저럭 버티며 지내기도 쉬웠고, 원인을 잘못 짚기도 쉬웠습니다. AceMQ는 몇 주 뒤에 서면 보고서를 전달하는 방식이 아니라, 고객사 엔지니어가 함께 참여하는 총 열네 시간, 여섯 차례의 라이브 작업 세션으로 이 프로젝트를 진행했습니다.

과제

서로 다른 두 가지 문제가 하나의 증상으로 나타나고 있었습니다. 메모리 상한이 7GB로 잘못 설정되어 있어 인스턴스가 제거(eviction)를 해야 할 시점에 하지 않았고, Redis Search는 인덱스 설계 당시 고려하지 않았던 고빈도 쓰기 패턴 때문에 성능이 저하되고 있었습니다. 둘 중 하나만이라면 버틸 만했습니다. 하지만 두 문제가 겹치면서 전형적인 메모리 누수처럼 보이는 증가가 나타났고, 흔히 쓰는 eviction 정책 수정으로는 해결되지 않았습니다.

환경

실시간 협업 제품의 세션 상태를 제공하는, Sentinel 기반 장애 조치(failover)를 갖춘 컨테이너 환경의 Redis.

접근 방식

세션은 의도적으로 상호작용형으로 진행했습니다. 재현하고, 측정하고, 변수 하나만 바꾼 뒤 다시 측정하는 방식입니다. 이 방식 덕분에 두 가지 수정을 한꺼번에 적용해 아무것도 알아내지 못하는 대신, 상한 설정 오류와 Redis Search 동작을 분리해 파악할 수 있었습니다.

해결책

  1. 의도한 임계값에서 eviction 정책이 실제로 작동하도록 메모리 상한 수정
  2. 고빈도 쓰기에서 발생하는 Redis Search 성능 저하를 누수의 증상이 아닌 별개의 원인으로 규명
  3. 클러스터 전체를 동시에 재시작하지 않고 메모리를 점진적으로 회수하는 단계적 컨테이너 교체 도입
  4. 교체 중 장애 조치 동작을 예측할 수 있도록 Sentinel 구성 검토
  5. 두 원인을 더 일찍 드러냈을 메모리 및 인덱스 지표 추가
  6. AceMQ에 의존하지 않고 고객사 엔지니어가 직접 교체 작업을 수행할 수 있도록 역량 이전

성과

메모리 증가세가 줄었고 프로덕션 시스템이 안정되었습니다. 프로젝트 이후 기간 동안 치명적인 장애는 보고되지 않았으며, 플랫폼은 유지보수 시간을 잡지 않고 개선 작업 내내 계속 운영되었습니다.

기술

RedisRedis SentinelContainersObservability

Redis 전문 기술 지원이 필요하신가요?

AceMQ의 시니어 Redis 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.