개요
한 결제 플랫폼에서 그동안 한 자릿수 밀리초 안에 끝나던 쓰기 작업이 수 초씩 멈추는 현상이 나타나기 시작했습니다. 서버 지표를 보면 WiredTiger 캐시가 축출 트리거 수준에 고정되어 있었고, 애플리케이션 스레드까지 페이지 축출에 동원되고 있었습니다. AceMQ 엔지니어는 플랜에 따라 15분부터 시작하는 대응 목표에 맞춰 투입되어 고객사 DBA 팀과 함께 장애에 대응했습니다.
과제
워킹 세트가 WiredTiger 캐시 할당량을 넘어설 만큼 커져, 읽기 미스가 발생할 때마다 핫 패스에서 더티 페이지 축출이 강제로 일어났습니다. 애플리케이션 스레드가 축출 작업에 참여하기 시작하자 지연 시간이 비선형적으로 급증했고, 상위 계층의 커넥션 풀이 포화되었습니다. 증상이 느린 쿼리가 아니라 클라이언트 측 타임아웃으로 나타났기 때문에 팀은 이를 네트워크 문제로 보고 대응해 왔습니다.
환경
대규모 거래 승인 서비스를 뒷받침하는 베어메탈 기반 MongoDB 레플리카 세트.
접근 방식
AceMQ는 serverStatus의 축출 카운터, 캐시 더티 비율, 체크포인트 소요 시간을 애플리케이션 지연 시간 히스토그램과 대조해, 디스크나 네트워크가 아니라 축출이 근본 원인임을 확인했습니다. 이후 작업은 즉각적인 압박 완화와, 워킹 세트가 다시 캐시 안에 들어오도록 인덱스와 문서 크기를 줄이는 근본적인 개선으로 나누어 진행했습니다.
해결책
- WiredTiger 축출 카운터, 캐시 더티 비율, 체크포인트 소요 시간을 클라이언트 측 지연 시간과 대조해 실제 병목 지점을 특정
- 기본값인 'RAM의 절반' 기준 대신 실제 호스트 메모리와 컨테이너 한도에 맞춰 cacheSizeGB를 재조정
- 어떤 쿼리 형태에도 쓰이지 않으면서 캐시만 차지하던 중복 복합 인덱스를 찾아 제거
- 가장 무거운 두 컬렉션의 구조를 재설계해 문서 크기를 줄이고 배열이 무한정 커지는 문제를 제거
- 축출 압박, 캐시 더티 비율, 체크포인트 소요 시간을 알림 기준에 추가해 애플리케이션 스레드에 영향이 미치기 전에 상황을 감지
성과
축출 작업이 다시 백그라운드 스레드로 돌아가고 쓰기 지연 시간이 정상 범위를 되찾으면서 클라이언트 타임아웃이 완전히 사라졌습니다. 고객사는 이제 캐시 압박에 대한 조기 경보 신호와, 향후 데이터 증가에 대비한 문서화된 용량 산정 모델을 갖추게 되었습니다.