전체 사례로 돌아가기

진단금융 서비스 / 트레이딩

쿼리가 각 테이블을 실제로 얼마나 읽는지 확인합니다

금융 시장 데이터 제공 기업

쿼리가 데이터 대부분을 스캔하기 시작한 대형 테이블을 대상으로 클러스터링 키, 마이크로 파티션 프루닝, 테이블 설계를 진단했습니다.

개요

한 시장 데이터 제공 기업은 수백억 행 규모의 테이블을 운영하고 있었는데, 결과 크기에 비해 쿼리 비용이 지나치게 커져 있었습니다. 클러스터링 키는 수년 전에, 그 이후 이미 바뀐 쿼리 패턴을 기준으로 정의된 것이었습니다. AceMQ는 가장 큰 테이블들을 대상으로 프루닝 효과를 진단했습니다.

과제

Snowflake의 성능과 비용은 결국 쿼리가 스캔해야 하는 마이크로 파티션 수로 결정됩니다. 클러스터링 키가 필터 조건과 맞지 않게 되면 프루닝 효과는 조용히 떨어집니다. 쿼리는 계속 올바른 결과를 반환하지만 스캔하는 데이터는 점점 늘어납니다. 자동 클러스터링에도 자체 크레딧 비용이 들기 때문에, 이를 통해 줄일 수 있는 스캔량과 비교해 따져 봐야 합니다.

환경

리서치 및 리포팅 워크로드가 조회하는 수년치 틱 데이터와 참조 데이터를 보관한 Azure 기반 Snowflake.

접근 방식

AceMQ는 각 대형 테이블의 주요 쿼리 패턴별로 전체 파티션 대비 스캔된 파티션 수를 측정해 프루닝 효과를 직접 파악했습니다. 이어서 후보 클러스터링 키를 줄일 수 있는 스캔량과 재클러스터링에 소모될 크레딧 양 모두를 기준으로 평가했습니다.

해결책

  1. 쿼리 패턴별로 전체 파티션 대비 스캔된 파티션 수를 측정해 실제 프루닝 효과를 정량화
  2. 현재 클러스터링 키를 설계 당시가 아닌 지금 쿼리가 사용하는 필터 조건과 비교
  3. 후보 클러스터링 키를 스캔 감소량과 지속적인 재클러스터링 크레딧 비용 양쪽으로 평가
  4. 가장 큰 테이블의 클러스터링 깊이를 진단해 재클러스터링이 따라가지 못하는 지점 파악
  5. 클러스터링보다 파티션 테이블이나 검색 최적화(search optimization)가 더 적합한 경우를 찾기 위한 테이블 설계 검토
  6. 테이블별 권고안과 함께 각각의 예상 스캔 감소량 및 크레딧 영향 제시

성과

이 기업은 프루닝이 어디서 저하되었고 그로 인해 비용이 얼마나 드는지를 테이블별로 파악했으며, 권고안은 공짜인 것처럼 제시되지 않고 재클러스터링 크레딧과 비교해 평가되었습니다. 가장 큰 테이블을 우선 대상으로 삼았고, 이들 테이블에서는 프루닝이 회복되면서 스캔하는 파티션 수가 크게 줄었습니다.

기술

SnowflakedbtAirflowTerraform

Snowflake 헬스 체크를 받을 준비가 되셨나요?

AceMQ의 시니어 Snowflake 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.