전체 사례로 돌아가기

문제 해결소프트웨어 / 디지털 플랫폼

캐시는 메모리가 남는다고 보고하는데 축출은 계속 늘어나는 상황

디지털 커머스 플랫폼

여유 메모리가 있다고 보고하면서도 핫 키를 축출하던 Memcached 계층을 긴급 복구하고, 원인을 슬랩 클래스 할당에서 찾아낸 사례입니다.

개요

한 커머스 플랫폼에서 직렬화 객체 포맷을 변경한 뒤 캐시 적중률이 급락했고, 서버가 미사용 메모리를 보고하는데도 축출이 급격히 늘었습니다. 그 부하를 데이터베이스가 떠안으면서 페이지 지연 시간도 함께 악화되었습니다.

과제

Memcached는 항목 크기에 따라 메모리를 슬랩 클래스에 할당하며, 기본 설정에서는 한 번 클래스에 할당된 페이지가 그대로 그 클래스에 남습니다. 직렬화 방식이 바뀌면서 일반적인 항목의 크기가, 할당된 페이지 거의 전부를 보유한 클래스와 다른 크기 클래스로 옮겨 갔습니다. 새 클래스는 곧바로 가득 차 축출을 시작했고, 기존 클래스는 대부분 빈 채로 남아 있었습니다. 전형적인 고착화(calcification) 징후입니다. 모든 대시보드에서 전체 메모리는 정상으로 보였기 때문에, 팀은 용량을 원인 후보에서 제외했던 것입니다.

환경

세션 및 객체 캐싱을 위해 관계형 데이터베이스 앞단에 배치된 Memcached 계층, Kubernetes 위의 애플리케이션 서버.

접근 방식

전체 메모리 수치가 아니라 슬랩 클래스별 통계를 분석했고, 몇 분 만에 불균형이 명확히 드러났습니다. 즉각적인 해소는 슬랩 리밸런싱을 활성화해 페이지가 클래스 사이를 이동할 수 있게 하는 것이었습니다. 근본적인 해결책은 항목 크기를 의도적으로 설계하고, 이 장애 유형을 실제로 드러내는 메트릭을 모니터링하는 것이었습니다.

해결책

  1. 슬랩 클래스별 통계를 분석해, 전체 메트릭이 가리고 있던 ‘여유 메모리가 있는데도 축출되는’ 모순을 드러냄
  2. 워크로드 변화에 따라 페이지가 크기 클래스 사이를 이동하도록 자동 슬랩 리밸런싱 활성화
  3. 성장 계수(growth factor)와 청크 크기를 기본값이 아닌 실제 항목 크기 분포에 맞춰 검토
  4. 애플리케이션 계층에서 직렬화 객체 크기를 줄여 항목이 예측 가능하게 한 클래스 안에 들어가도록 조정
  5. 문제를 가리던 전체 메모리 그래프 대신 클래스별 축출 및 페이지 수 모니터링 추가
  6. 캐시 재시작 시 데이터베이스로 요청이 한꺼번에 몰리지 않도록 재시작 및 워밍업 절차 정의

성과

적중률은 한 시간 안에 이전 수준으로 회복되었고, 핫 클래스의 축출은 거의 0으로 떨어졌습니다. 데이터베이스 읽기 부하도 정상으로 돌아왔으며, 이후 클래스별 모니터링이 두 번째 크기 변화를 영향이 발생하기 전에 감지해 냈습니다.

기술

MemcachedLinuxMySQLKubernetes

Memcached 프로덕션 문제에 직면해 계신가요?

AceMQ의 시니어 Memcached 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.