개요
한 협업 플랫폼 기업은 고객용 제품의 세션 및 검색 계층으로 Redis를 운영하고 있었습니다. 재시작 사이에 메모리가 꾸준히 늘어나다 결국 클러스터가 다운되었고, 이 패턴은 여러 차례 리사이징을 거친 뒤에도 사라지지 않았습니다.
과제
메모리 증가가 트래픽에 비례하지 않았기 때문에 메모리를 늘려도 소용이 없었습니다. 게다가 클러스터의 메모리 상한이 단위 없이 설정되어 있어, 의도한 한도가 실제로는 한 번도 적용되지 않았습니다. 재시작하면 메모리는 회복되었지만 세션이 끊겼습니다.
환경
관리형 클라우드 환경에서 고빈도 쓰기 워크로드를 처리하는, 레플리카와 Sentinel 기반 페일오버를 갖춘 컨테이너화된 Redis.
접근 방식
AceMQ 엔지니어들은 CI 클러스터에서 메모리 증가를 재현하고, 인덱스를 삭제 후 재구축하면서 메모리가 돌아오는 것을 관찰해 원인을 전문 검색 인덱스로 좁혔습니다. 그리고 이 동작이 사용 중인 검색 모듈 버전의 알려진 결함과 일치함을 확인했습니다. 업그레이드 경로를 검토하는 동안에는 마스터보다 레플리카를 먼저 순차적으로 재시작하는 방식으로 안전한 임시 완화책을 마련했습니다.
해결책
- 원인 분리를 위해 비운영 클러스터에서 메모리 증가를 재현
- 누수 원인을 애플리케이션 워크로드가 아닌 전문 검색 모듈로 추적
- 단위 없이 설정되어 있던 메모리 상한을 수정
- 클러스터가 다운되는 대신 성능 저하로 버티도록 명시적인 eviction 정책을 설정
- 페일오버 위험을 피하기 위해 레플리카 먼저, 마스터 나중의 순차 재시작을 도입
- 기능 플래그 기반 롤아웃을 전제로 Valkey를 지원되는 장기 경로로 평가
성과
메모리 증가는 더 이상 장애로 이어지지 않았습니다. 클러스터는 정기 점검 사이에도 안정적으로 유지되었고, 팀은 직접 실행할 수 있는 문서화된 완화 절차를 확보했으며, Valkey 마이그레이션은 긴급 대응이 아닌 계획된 변경으로 진행되었습니다.