개요
한 분석 서비스 기업은 평상시 트래픽보다 훨씬 많은 oplog를 생성하는 야간 ETL 적재를 실행하고 있었습니다. 적재 시간대에 뒤처진 세컨더리는 oplog 범위를 벗어나 전체 초기 동기화로 떨어졌고, 이 동기화가 다음 날 밤의 적재와 경쟁했습니다. AceMQ는 전담 시니어 엔지니어와 직접 에스컬레이션 경로를 갖춘 레플리카 세트 기술 지원을 맡았습니다.
과제
oplog는 클러스터 생성 시 디스크 대비 기본 비율로 크기가 정해진 뒤 한 번도 재검토되지 않았습니다. 문서 전체를 다시 쓰는 대량 업데이트는 변경된 필드 크기를 훨씬 넘어서는 oplog를 만들어 냈고, 뒤처진 세컨더리 하나가 연쇄적인 재동기화를 일으켜 업무일 대부분 동안 정상적인 읽기 레플리카가 하나도 없는 상태가 되기도 했습니다.
환경
업스트림 임상 데이터 웨어하우스에서 야간 배치로 데이터를 수집하는 AWS 기반 관리형 MongoDB 레플리카 세트.
접근 방식
AceMQ는 평균값에 의존하지 않고 전체 배치 시간대 동안의 실제 oplog 변동량을 측정한 뒤, 관측된 최악의 시간대를 여유 있게 감당하도록 oplog 크기를 산정했습니다. 동시에 엔지니어들은 oplog 증폭을 줄이도록 배치 쓰기를 재작업하고, 당직자가 전체 재동기화 없이 뒤처진 세컨더리를 복구할 수 있도록 런북을 마련했습니다.
해결책
- 전체 배치 시간대에 걸친 최대 oplog 생성 속도를 측정해 평균이 아닌 최악의 경우를 기준으로 oplog 크기 산정
- oplog 크기를 온라인으로 조정하고 부하 상황에서 그에 따른 복제 윈도 검증
- ETL의 문서 전체 재작성을 대상 필드 업데이트로 전환해 oplog 증폭 감소
- 세컨더리가 프라이머리 쓰기 처리량을 따라갈 수 있도록 배치 적재 동시성을 시차를 두어 분산
- 뒤처진 세컨더리, 롤백 파일, 재동기화가 정말 필요한 경우를 다루는 복구 런북 작성
- 24/7 에스컬레이션 경로와 연동된 복제 지연 및 oplog 윈도 알림 구성
성과
매일 밤 반복되던 재동기화가 사라졌고, 레플리카 세트는 이제 몇 시간이 아니라 며칠 단위의 복제 윈도를 유지합니다. 고객사 당직 팀은 대부분의 지연 이벤트를 에스컬레이션 없이 런북으로 해결합니다.