개요
한 커머스 플랫폼에서 직렬화 객체 포맷을 변경한 뒤 캐시 적중률이 급락했고, 서버가 미사용 메모리를 보고하는데도 축출이 급격히 늘었습니다. 그 부하를 데이터베이스가 떠안으면서 페이지 지연 시간도 함께 악화되었습니다.
과제
Memcached는 항목 크기에 따라 메모리를 슬랩 클래스에 할당하며, 기본 설정에서는 한 번 클래스에 할당된 페이지가 그대로 그 클래스에 남습니다. 직렬화 방식이 바뀌면서 일반적인 항목의 크기가, 할당된 페이지 거의 전부를 보유한 클래스와 다른 크기 클래스로 옮겨 갔습니다. 새 클래스는 곧바로 가득 차 축출을 시작했고, 기존 클래스는 대부분 빈 채로 남아 있었습니다. 전형적인 고착화(calcification) 징후입니다. 모든 대시보드에서 전체 메모리는 정상으로 보였기 때문에, 팀은 용량을 원인 후보에서 제외했던 것입니다.
환경
세션 및 객체 캐싱을 위해 관계형 데이터베이스 앞단에 배치된 Memcached 계층, Kubernetes 위의 애플리케이션 서버.
접근 방식
전체 메모리 수치가 아니라 슬랩 클래스별 통계를 분석했고, 몇 분 만에 불균형이 명확히 드러났습니다. 즉각적인 해소는 슬랩 리밸런싱을 활성화해 페이지가 클래스 사이를 이동할 수 있게 하는 것이었습니다. 근본적인 해결책은 항목 크기를 의도적으로 설계하고, 이 장애 유형을 실제로 드러내는 메트릭을 모니터링하는 것이었습니다.
해결책
- 슬랩 클래스별 통계를 분석해, 전체 메트릭이 가리고 있던 ‘여유 메모리가 있는데도 축출되는’ 모순을 드러냄
- 워크로드 변화에 따라 페이지가 크기 클래스 사이를 이동하도록 자동 슬랩 리밸런싱 활성화
- 성장 계수(growth factor)와 청크 크기를 기본값이 아닌 실제 항목 크기 분포에 맞춰 검토
- 애플리케이션 계층에서 직렬화 객체 크기를 줄여 항목이 예측 가능하게 한 클래스 안에 들어가도록 조정
- 문제를 가리던 전체 메모리 그래프 대신 클래스별 축출 및 페이지 수 모니터링 추가
- 캐시 재시작 시 데이터베이스로 요청이 한꺼번에 몰리지 않도록 재시작 및 워밍업 절차 정의
성과
적중률은 한 시간 안에 이전 수준으로 회복되었고, 핫 클래스의 축출은 거의 0으로 떨어졌습니다. 데이터베이스 읽기 부하도 정상으로 돌아왔으며, 이후 클래스별 모니터링이 두 번째 크기 변화를 영향이 발생하기 전에 감지해 냈습니다.