개요
한 측정 플랫폼이 피크 트래픽 중에 too-many-parts 오류로 insert를 거부하기 시작했습니다. 각 애플리케이션 인스턴스가 짧은 주기로 소량의 행 배치를 insert하면서, 머지 스케줄러가 정리할 수 있는 것보다 훨씬 많은 파트가 생성되고 있었습니다. AceMQ는 긴급 대응 SLA에 따라 투입되었습니다.
과제
파트 수 한도는 문제 자체가 아니라 안전장치입니다. 한도를 올리면 테이블 상태가 더 나빠지다가, 결국 쿼리가 수천 개의 파트를 읽느라 기어가듯 느려집니다. 진짜 원인은 insert 배치 크기, insert 빈도, 그리고 카디널리티가 높아 insert 한 번이 여러 파티션을 동시에 건드리게 만들어 파트 생성을 배가시키는 파티션 키였습니다.
환경
실시간 캠페인 측정을 위해 Kafka에서 이벤트 스트림을 수집하는 AWS 기반 ClickHouse 클러스터.
접근 방식
AceMQ는 테이블별로 파트 생성 속도와 머지 처리량을 측정해 실제 격차를 수치화한 뒤, insert 방식부터 손봤습니다. insert가 잘못된 형태로 들어오는 한 머지 튜닝으로는 이를 메울 수 없기 때문입니다. 파티션 키 변경은 기존 데이터를 계속 조회할 수 있도록 단계적으로 진행했습니다.
해결책
- 테이블별 파트 생성 속도와 머지 처리량을 측정해 실제 부족분을 수치화
- 버퍼링 수집 계층을 통해 애플리케이션의 다수 소량 insert를 소수의 대량 배치로 통합
- insert 한 번이 건드리는 파티션 수가 제한되도록 파티션 키 카디널리티 축소
- 가용 CPU 및 I/O에 맞춰 백그라운드 머지 풀 크기와 머지 설정 재조정
- 전환 기간 동안 기존 데이터를 계속 조회할 수 있도록 파티션 키 변경을 단계적으로 적용
- 거부 임계치에 한참 앞서 경보가 울리도록 테이블별 파트 수와 머지 백로그를 알림에 추가
성과
insert 거부가 멈추었고, 파트 수는 피크 트래픽 중에도 머지가 속도를 맞출 수 있는 범위로 돌아왔습니다. 스캔 시 더 이상 테이블마다 수천 개의 파트를 열 필요가 없어지면서 쿼리 성능도 덩달아 개선되었습니다.