전체 사례로 돌아가기

문제 해결산업 공통

레플리카를 다시 동기화하고, 그 상태를 유지

이커머스 마켓플레이스 운영사

단일 스레드 적용이 대규모 다중 행 트랜잭션을 따라가지 못해 배치 시간대마다 몇 시간까지 늘어나던 레플리카 지연을 해결했습니다.

개요

한 마켓플레이스 운영사는 읽기 레플리카에서 상품 검색과 리포팅을 제공하고 있었습니다. 야간 재고 대사 작업 중에 레플리카 지연이 고객이 눈치챌 만큼 오래된 데이터를 반환하는 수준까지 늘어났습니다. AceMQ는 원인을 찾아 해결하기 위해 투입되었습니다.

과제

복제 스트림에는 배치 작업에서 나온 매우 큰 단일 트랜잭션이 포함되어 있었고, 레플리카의 적용 작업은 사실상 그 뒤에 줄을 서서 직렬로 처리되었습니다. 배치가 컬럼이 많은 행을 업데이트했기 때문에 행 기반 바이너리 로깅이 데이터 양을 더욱 키웠습니다. 읽기 트래픽은 지연 여부와 관계없이 레플리카로 라우팅되어, 오래된 데이터가 아무도 모르게 애플리케이션에 전달되다가 고객 신고로 드러났습니다.

환경

카탈로그, 검색, 리포팅 워크로드를 지원하는 AWS 상의 MySQL 소스 및 레플리카 토폴로지.

접근 방식

AceMQ는 지연이 어디에서 쌓이는지 확인하기 위해 적용 처리량을 네트워크 전달과 분리해 계측한 뒤, 양쪽 모두를 개선했습니다. 쓰기 스트림을 병렬로 적용하기 쉽게 만들고, 읽기 계층이 지연을 인지해 오래된 데이터가 조용히 제공되지 않도록 했습니다.

해결책

  1. 네트워크 전달 지연과 적용 지연을 분리해, 병목이 전송이 아니라 레플리카 적용임을 확인
  2. writeset 기반 의존성 추적을 사용하는 병렬 복제를 활성화하고 하드웨어에 맞게 워커 스레드 수 조정
  3. 단일 구문이 적용 스트림을 직렬화하지 않도록 배치 작업을 제한된 크기의 트랜잭션으로 분할
  4. 컬럼이 많은 행 업데이트로 인한 복제 데이터 양을 줄이기 위해 바이너리 로그 형식과 row image 설정 검토
  5. 임곗값을 넘어선 레플리카를 읽기 풀에서 제외하는, 지연을 인지하는 읽기 라우팅을 프록시에 구성
  6. 기존 seconds-behind-source 지표와 별도로 적용 지연 알림 추가

성과

배치 시간대의 최대 레플리카 지연이 몇 시간에서 1분 미만으로 크게 줄었고, 오래된 데이터가 더 이상 고객에게 전달되지 않습니다. 지연 인지형 라우팅 덕분에 레플리카가 뒤처지더라도 이제는 안전하게 대처합니다.

기술

MySQLProxySQLPrometheusLinux

MySQL 프로덕션 문제에 직면해 계신가요?

AceMQ의 시니어 MySQL 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.