전체 사례로 돌아가기

문제 해결소프트웨어 / 디지털 플랫폼

워크로드 문제처럼 보였던 메모리 증가, 알고 보니 인덱싱 버그였습니다

디지털 협업 플랫폼 기업

운영 중인 Redis 클러스터가 메모리 증가로 계속 다운되었는데, 원인은 워크로드가 아니라 전문 검색(full-text) 인덱스였습니다. AceMQ는 누수를 진단하고 클러스터를 안정화한 뒤 Valkey 마이그레이션 경로를 수립했습니다.

개요

한 협업 플랫폼 기업은 고객용 제품의 세션 및 검색 계층으로 Redis를 운영하고 있었습니다. 재시작 사이에 메모리가 꾸준히 늘어나다 결국 클러스터가 다운되었고, 이 패턴은 여러 차례 리사이징을 거친 뒤에도 사라지지 않았습니다.

과제

메모리 증가가 트래픽에 비례하지 않았기 때문에 메모리를 늘려도 소용이 없었습니다. 게다가 클러스터의 메모리 상한이 단위 없이 설정되어 있어, 의도한 한도가 실제로는 한 번도 적용되지 않았습니다. 재시작하면 메모리는 회복되었지만 세션이 끊겼습니다.

환경

관리형 클라우드 환경에서 고빈도 쓰기 워크로드를 처리하는, 레플리카와 Sentinel 기반 페일오버를 갖춘 컨테이너화된 Redis.

접근 방식

AceMQ 엔지니어들은 CI 클러스터에서 메모리 증가를 재현하고, 인덱스를 삭제 후 재구축하면서 메모리가 돌아오는 것을 관찰해 원인을 전문 검색 인덱스로 좁혔습니다. 그리고 이 동작이 사용 중인 검색 모듈 버전의 알려진 결함과 일치함을 확인했습니다. 업그레이드 경로를 검토하는 동안에는 마스터보다 레플리카를 먼저 순차적으로 재시작하는 방식으로 안전한 임시 완화책을 마련했습니다.

해결책

  1. 원인 분리를 위해 비운영 클러스터에서 메모리 증가를 재현
  2. 누수 원인을 애플리케이션 워크로드가 아닌 전문 검색 모듈로 추적
  3. 단위 없이 설정되어 있던 메모리 상한을 수정
  4. 클러스터가 다운되는 대신 성능 저하로 버티도록 명시적인 eviction 정책을 설정
  5. 페일오버 위험을 피하기 위해 레플리카 먼저, 마스터 나중의 순차 재시작을 도입
  6. 기능 플래그 기반 롤아웃을 전제로 Valkey를 지원되는 장기 경로로 평가

성과

메모리 증가는 더 이상 장애로 이어지지 않았습니다. 클러스터는 정기 점검 사이에도 안정적으로 유지되었고, 팀은 직접 실행할 수 있는 문서화된 완화 절차를 확보했으며, Valkey 마이그레이션은 긴급 대응이 아닌 계획된 변경으로 진행되었습니다.

기술

ValkeyRedisKubernetes

Valkey 프로덕션 문제에 직면해 계신가요?

AceMQ의 시니어 Valkey 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.