전체 사례로 돌아가기

문제 해결소프트웨어 / 디지털 플랫폼

머지가 따라잡을 수 있도록 insert 방식을 바로잡다

애드테크 측정 플랫폼 기업

잦은 소량 insert가 백그라운드 머지가 정리하는 속도보다 빠르게 파트를 만들어 파트 수 한도에 걸리면서 발생한 수집 실패를 해결했습니다.

개요

한 측정 플랫폼이 피크 트래픽 중에 too-many-parts 오류로 insert를 거부하기 시작했습니다. 각 애플리케이션 인스턴스가 짧은 주기로 소량의 행 배치를 insert하면서, 머지 스케줄러가 정리할 수 있는 것보다 훨씬 많은 파트가 생성되고 있었습니다. AceMQ는 긴급 대응 SLA에 따라 투입되었습니다.

과제

파트 수 한도는 문제 자체가 아니라 안전장치입니다. 한도를 올리면 테이블 상태가 더 나빠지다가, 결국 쿼리가 수천 개의 파트를 읽느라 기어가듯 느려집니다. 진짜 원인은 insert 배치 크기, insert 빈도, 그리고 카디널리티가 높아 insert 한 번이 여러 파티션을 동시에 건드리게 만들어 파트 생성을 배가시키는 파티션 키였습니다.

환경

실시간 캠페인 측정을 위해 Kafka에서 이벤트 스트림을 수집하는 AWS 기반 ClickHouse 클러스터.

접근 방식

AceMQ는 테이블별로 파트 생성 속도와 머지 처리량을 측정해 실제 격차를 수치화한 뒤, insert 방식부터 손봤습니다. insert가 잘못된 형태로 들어오는 한 머지 튜닝으로는 이를 메울 수 없기 때문입니다. 파티션 키 변경은 기존 데이터를 계속 조회할 수 있도록 단계적으로 진행했습니다.

해결책

  1. 테이블별 파트 생성 속도와 머지 처리량을 측정해 실제 부족분을 수치화
  2. 버퍼링 수집 계층을 통해 애플리케이션의 다수 소량 insert를 소수의 대량 배치로 통합
  3. insert 한 번이 건드리는 파티션 수가 제한되도록 파티션 키 카디널리티 축소
  4. 가용 CPU 및 I/O에 맞춰 백그라운드 머지 풀 크기와 머지 설정 재조정
  5. 전환 기간 동안 기존 데이터를 계속 조회할 수 있도록 파티션 키 변경을 단계적으로 적용
  6. 거부 임계치에 한참 앞서 경보가 울리도록 테이블별 파트 수와 머지 백로그를 알림에 추가

성과

insert 거부가 멈추었고, 파트 수는 피크 트래픽 중에도 머지가 속도를 맞출 수 있는 범위로 돌아왔습니다. 스캔 시 더 이상 테이블마다 수천 개의 파트를 열 필요가 없어지면서 쿼리 성능도 덩달아 개선되었습니다.

기술

ClickHouseKafkaKubernetesPrometheus

ClickHouse 프로덕션 문제에 직면해 계신가요?

AceMQ의 시니어 ClickHouse 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.