전체 사례로 돌아가기

문제 해결산업 공통

웨어하우스를 키우기 전에 스필과 대기열부터 진단합니다

글로벌 보험 그룹

용량이 부족한 웨어하우스에서 쿼리가 원격 스토리지로 스필되고 동시 작업이 그 뒤에서 대기하면서 파이프라인 실행 시간이 폭증하던 문제를 해결했습니다.

개요

한 보험 그룹의 야간 변환 파이프라인이 정해진 시간대를 넘기기 시작해 업무 시간과 겹치게 되었습니다. 본능적인 해법은 더 큰 웨어하우스였는데, 이미 한 번 시도했지만 별 효과가 없었습니다. AceMQ는 실제로 시간을 잡아먹는 원인을 찾기 위해 투입되었습니다.

과제

서로 다른 두 가지 문제가 같은 증상을 만들고 있었습니다. 소수의 변환 쿼리가 로컬보다 몇 자릿수나 느린 원격 스토리지로 스필되고 있었고, 이렇게 오래 실행되는 쿼리가 웨어하우스를 점유하는 동안 나머지 작업은 모두 그 뒤에서 대기했습니다. 웨어하우스 크기를 늘리자 스필되는 쿼리는 조금 나아졌지만, 사용한 크레딧 대비 대기 문제는 오히려 악화되었습니다.

환경

보험 계약 및 보험금 청구 데이터를 대상으로 Airflow가 오케스트레이션하는 dbt 변환을 실행하는 Azure 기반 Snowflake.

접근 방식

AceMQ는 쿼리 이력을 활용해 쿼리별 실행 시간, 대기 시간, 스필 양을 분리해 두 문제를 각각 해결할 수 있게 했습니다. 작업 세트가 들어가지 않는 쿼리는 웨어하우스 크기와 관계없이 스필되기 때문에 쿼리 수준의 수정을 먼저 진행했습니다.

해결책

  1. 쿼리 이력에서 쿼리별 실행 시간, 대기 시간, 원격 스필 양을 분리
  2. 스필이 가장 심한 쿼리의 조인과 윈도 함수를 재작성해 중간 결과 크기 축소
  3. 긴 변환 작업이 더 이상 짧은 작업을 막지 않도록 파이프라인을 별도 웨어하우스로 분산
  4. 동시에 실행되는 짧은 쿼리를 처리하는 웨어하우스에 멀티 클러스터 스케일링 구성
  5. 가장 큰 소스 테이블의 클러스터링과 필터링을 바로잡아 스캔되는 마이크로 파티션 감소
  6. 시간대 초과의 선행 지표로 스필 양과 대기열 깊이를 파이프라인 모니터링에 추가

성과

야간 파이프라인은 다시 정해진 시간대 안에 끝났고 더 이상 업무 시간과 겹치지 않습니다. 가장 심했던 쿼리에서 원격 스필이 사라졌고, 크레딧 소비량도 이전에 시도했던 대형 웨어하우스 방식에 비해 줄었습니다.

기술

SnowflakedbtAirflowTerraform

Snowflake 프로덕션 문제에 직면해 계신가요?

AceMQ의 시니어 Snowflake 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.