개요
한 SaaS 기업은 실망스러운 적중률을 개선하려고 Memcached 규모를 두 배로 늘리려던 참이었습니다. AceMQ는 먼저 캐시 계층을 진단해 용량이 실제 제약 요인인지 확인했습니다.
과제
전체 적중률이 낮아 보였기 때문에 메모리를 늘리는 것이 당연한 해법처럼 보였습니다. 하지만 전체 수치 뒤에는 서로 다른 두 가지 문제가 숨어 있었습니다. get 요청의 상당 부분이 단 한 번만 읽히는 키에 대한 것이었는데, 이는 구조상 캐시 미스가 날 수밖에 없어 메모리를 아무리 늘려도 해결되지 않습니다. 또한 두 클라이언트 라이브러리 간 해싱 구성 차이 때문에 링 전체의 키 분포가 심하게 불균형해, 일부 노드는 용량에 근접해 축출을 하는 반면 다른 노드는 절반쯤 비어 있었습니다.
환경
서로 다른 클라이언트 라이브러리를 사용하는 두 언어의 서비스가 접근하는 AWS 기반 Memcached 계층.
접근 방식
진단에서는 적중률을 하나의 숫자로 보지 않고 키 패턴별로 분해하며, 노드별 실제 키 및 메모리 분포를 측정합니다. 이렇게 하면 본질적으로 캐시할 수 없는 트래픽과 메모리를 늘리면 효과를 볼 워크로드가 구분되고, 노드를 추가해도 해결되지 않는 분포 문제가 드러납니다.
해결책
- 키 접두사와 접근 패턴별로 적중률을 분해해 한 번만 읽히는 키와 실제로 재사용되는 키 구분
- 노드별 키 수와 메모리 분포를 측정해 링 불균형 확인
- 두 언어의 클라이언트 라이브러리 해싱 구성을 비교해 불균형을 일으킨 불일치 파악
- 두 배라는 짐작이 아닌 측정에 근거해 용량 요건을 정하도록 키 유형별 작업 세트 크기 추정
- 캐시할 수 없는 접근 패턴을 찾아 캐시 경로에서 제외할 후보로 애플리케이션 팀에 전달
- 용량을 전혀 늘리지 않는 방안을 포함해 옵션별 예상 적중률 결과와 함께 규모 권고 제시
성과
클라이언트 해싱 불일치를 바로잡자 링이 재균형되었고, 새 하드웨어 없이 적중률이 크게 올라갔습니다. 계획했던 용량 두 배 증설은 취소되었고, 대신 특정 키 유형 하나를 겨냥한 소폭 증설이 예정되었습니다.