개요
한 디지털 미디어 플랫폼은 Memcached 노드를 교체하거나 대량의 키가 한꺼번에 만료될 때마다 데이터베이스 장애를 반복적으로 겪었습니다. AceMQ는 캐시 계층과 그 주변의 애플리케이션 패턴까지 아우르는 지속적인 기술 지원을 제공합니다.
과제
일관된 해싱(consistent hashing) 링에서 노드 하나를 잃으면 그 노드가 맡던 키가 재배치되고, 재배치된 키는 모두 동시에 캐시 미스가 납니다. 동시 재생성을 막는 장치가 없었기 때문에 수천 개의 요청이 같은 고비용 값을 동시에 다시 계산하면서 데이터베이스를 포화시켰습니다. 만료 절벽에서도 같은 일이 벌어졌습니다. 배포 중에 함께 채워진 키들이 동일한 TTL을 가지고 있어 함께 만료되었기 때문입니다. 일상적인 노드 유지보수가 변경 승인 절차를 거쳐야 하는 문제가 되어 있었습니다.
환경
관계형 데이터베이스 앞단에 위치한 AWS 기반 Memcached 계층, 배포가 잦은 Kubernetes 기반 애플리케이션 서버.
접근 방식
스탬피드 방지는 캐시만으로는 해결할 수 없는 애플리케이션 영역의 문제이므로, 이번 기술 지원은 캐시와 이를 사용하는 애플리케이션 패턴을 모두 다룹니다. 고객사 엔지니어와 함께 요청 병합(request coalescing)과 TTL 지터를 적용하고, 노드 토폴로지 변경을 돌발 이벤트가 아닌 통제된 작업으로 바꿉니다.
해결책
- 캐시 토폴로지와 그 사용처를 잘 아는 전담 시니어 엔지니어가 플랜에 따라 15분부터 시작하는 대응 목표로 제공하는 24/7 기술 지원
- 누락된 값을 하나의 호출자만 재생성하고 나머지는 기다리도록 애플리케이션 계층에 요청 병합 추가
- 함께 채워진 키가 함께 만료되어 만료 절벽을 만들지 않도록 TTL 지터 적용
- 노드 변경 시 재배치되는 키의 비율이 최소화되도록 일관된 해싱 설정 검토
- 계획되지 않은 교체 대신, 사전 워밍을 포함한 통제된 노드 추가 및 제거 절차 수립
- 성능이 저하되는 노드를 잃기 전에 발견할 수 있도록 노드별 적중률, 축출, get 미스 모니터링
성과
노드 교체가 더 이상 데이터베이스 부하 급증을 일으키지 않으며, TTL 지터를 적용한 뒤 만료 절벽도 사라졌습니다. 캐시 유지보수는 변경 승인이 필요한 이벤트에서 다시 일상적인 운영 작업이 되었습니다.