개요
한 산업용 IoT 운영 기업의 ClickHouse 테이블은 생성 당시에는 성능이 좋았지만, 센서 데이터가 쌓일수록 꾸준히 느려졌습니다. 정렬 키가 데이터 필터링 방식과 맞지 않아 대시보드 쿼리가 각 테이블의 대부분을 읽고 있었습니다. AceMQ는 실제 쿼리 구성을 중심으로 스키마를 재설계했습니다.
과제
ClickHouse 성능은 쿼리가 얼마나 많은 데이터를 건너뛸 수 있느냐로 대부분 결정되며, 이는 정렬 키 순서, 파티셔닝, 인덱스 단위(granularity)에 달려 있습니다. 기존 테이블은 카디널리티가 높은 식별자를 정렬 키 맨 앞에 두고 생성되어 있었기 때문에, 모든 대시보드가 적용하는 시간 범위 필터에 대해 희소 기본 인덱스가 데이터를 거의 건너뛰지 못했습니다.
환경
공장 모니터링 대시보드를 위해 수년치 센서 텔레메트리를 저장하는 온프레미스 ClickHouse 클러스터.
접근 방식
AceMQ는 실제 쿼리 구성을 프로파일링하고, 쿼리별로 읽은 그래뉼 수와 일치하는 행이 포함된 그래뉼 수를 측정했습니다. 이 차이를 근거로 정렬 키와 파티셔닝을 재설계했습니다. 이어서 코덱과 압축 방식은 기본값이 아니라 실측한 데이터 특성을 바탕으로 컬럼별로 선택했습니다.
해결책
- 대시보드 쿼리 구성을 프로파일링하고, 읽은 그래뉼 수와 일치 항목을 포함한 그래뉼 수 측정
- 쿼리가 실제로 필터링하는 컬럼이 앞에 오도록 정렬 키 순서를 바꿔 인덱스 건너뛰기 회복
- 시간 범위에 대한 파티션 프루닝을 유지하면서 파트 수를 제한하는 파티션 단위 선택
- 시계열 및 저카디널리티 컬럼에 실측 데이터 특성에 맞춘 컬럼별 코덱 적용
- 반복되는 대시보드 롤업용 구체화된 뷰와 집계 테이블 도입
- 오래된 데이터를 더 저렴한 스토리지로 옮기고 문서화된 일정에 따라 만료시키는 TTL 정책 정의
성과
대시보드 쿼리는 각 테이블의 대부분을 스캔하던 상태에서 극히 일부만 읽는 상태로 바뀌었고, 일반적인 응답 시간은 약 10배 개선되었습니다. 코덱과 TTL 변경으로 스토리지 사용량도 의미 있게 줄었습니다.