개요
한 화물 추적 플랫폼은 가장 큰 컬렉션을 타임스탬프에서 파생한 키로 샤딩해 두었습니다. 모든 삽입이 같은 청크 범위에 들어가는 바람에 샤드 하나가 쓰기 부하 전체를 감당하고 나머지는 놀고 있었습니다. 또한 여러 청크가 카디널리티가 낮은 값에서 분할 임계값을 넘어 커져, 밸런서가 옮기기를 거부하는 jumbo 청크로 굳어 있었습니다.
과제
운영 중인 수 TB 규모 컬렉션의 샤드 키를 바꾸는 일은 구성 변경 수준이 아닙니다. 이 프로젝트는 쓰기를 분산시키면서도 scatter-gather 없이 플랫폼의 주요 쿼리 패턴을 계속 지원하고, 장시간 유지보수 시간 없이 도입할 수 있는 마이그레이션 경로를 갖춘 키를 찾아내야 했습니다.
환경
화물 추적과 텔레메트리를 뒷받침하며 온프레미스 하드웨어와 클라우드 용량에 걸쳐 운영되는 샤딩된 MongoDB 클러스터.
접근 방식
AceMQ는 이미 실제와 어긋나 있던 문서상의 접근 패턴이 아니라, slow query 로그와 애플리케이션 코드에서 실제 쿼리 구성을 프로파일링했습니다. 후보 키는 쓰기 분산, 대상 지정 쿼리 대비 브로드캐스트 쿼리 비율, 청크 카디널리티를 기준으로 평가했고, 변경을 제안하기 전에 복원한 프로덕션 사본에서 검증했습니다.
해결책
- 문서상이 아닌 실제 접근 패턴을 파악하기 위해 샤드별 실제 쿼리 형태와 쓰기 분포 프로파일링
- 후보 복합 샤드 키와 해시 샤드 키를 쓰기 분산, 쿼리 대상 지정, 청크 카디널리티 기준으로 평가
- 계획을 확정하기 전에 복원한 프로덕션 규모 사본에서 권장 키 검증
- 단계마다 정해진 체크포인트와 롤백 지점을 두고 리샤딩을 활용하는 단계적 마이그레이션 설계
- 기존 jumbo 청크를 해소하고 범위를 잘못된 샤드에 고정해 두었던 존(zone) 구성 수정
- 플랫폼의 수집 특성에 맞춘 밸런서 시간대와 청크 크기 설정 문서화
성과
쓰기 트래픽이 샤드 하나에 몰리지 않고 모든 샤드에 분산되었으며, 클러스터는 샤드를 추가해 수평 확장할 수 있는 능력을 되찾았습니다. 새 키가 주요 읽기 패턴의 대상 지정을 유지하면서 브로드캐스트 쿼리도 크게 줄었습니다.