개요
새로운 리전으로 확장하던 한 결제 처리 기업에는 리전 간에 오래된 데이터를 읽는 일이 없는 캐싱 설계가 필요했습니다. AceMQ는 확장이 시작되기 전에 토폴로지, 네임스페이스, 무효화 전략을 설계했습니다.
과제
기존 단일 리전 구성은 각 서비스가 쓰기 후 키를 직접 삭제하는 방식에 의존했고, 서비스마다 키 명명 규칙도 제각각이었습니다. 특정 쓰기가 어떤 키를 무효화해야 하는지 전체 그림을 아는 사람이 없었기 때문에 오래된 데이터 읽기가 발생했고, 이를 TTL을 줄이는 방식으로 해결하다 보니 부하가 다시 데이터베이스로 몰렸습니다. 이 모델을 여러 리전으로 확장하면 문제는 배가될 수밖에 없었습니다. 한 리전의 쓰기가 다른 리전의 캐시 사본을 무효화할 경로가 없었기 때문입니다.
환경
Kubernetes 기반 멀티 리전 AWS 배포, 지연 시간에 민감한 결제 승인 경로, 리전별 데이터 상주 요건.
접근 방식
AceMQ는 명시적인 소유권을 중심으로 캐시를 설계했습니다. 각 키 네임스페이스에는 수명 주기를 책임지는 소유 서비스가 정확히 하나씩 있습니다. 리전 간에 삭제를 분산하는 대신, 버전 키 기반 네임스페이스를 사용해 무효화를 버전 하나만 올리는 작업으로 만들었습니다. 그러면 오래된 항목은 더 이상 조회되지 않고 자연스럽게 만료됩니다.
해결책
- 네임스페이스마다 하나의 소유 서비스를 두어 암묵적인 공동 소유를 없앤 키 네임스페이스 체계
- 무효화가 삭제 대상 목록이 아니라 버전 증가 한 번으로 끝나는 버전 키 기반 네임스페이스
- 데이터 상주 경계를 지키는 리전별 캐시 계층과, 리전 간에 절대 캐싱하지 않을 대상에 대한 명시적 규칙
- 무효화 버그를 가리려고 일괄 적용하던 짧은 TTL 대신, 허용 가능한 데이터 신선도에 따른 데이터 유형별 TTL 전략
- 캐시 장애 시 데이터베이스 폭주가 아니라 동시성 제한을 둔 직접 읽기로 성능이 저하되도록 장애 동작 정의
- 휘발성 캐시보다 영구 저장소가 더 적합한 영역에 대한 가이드 제공 및 Memcached는 적합한 워크로드에만 사용
성과
리전 간 오래된 데이터 읽기 문제를 사후에 완화하는 것이 아니라 설계 단계에서 원천 차단했고, 그 덕분에 TTL을 크게 늘려 데이터베이스 읽기 부하를 줄일 수 있었습니다. 버전 키 기반 네임스페이스 패턴은 이후 원래 범위 밖의 팀들에도 도입되었습니다.