개요
한 보험 그룹의 야간 변환 파이프라인이 정해진 시간대를 넘기기 시작해 업무 시간과 겹치게 되었습니다. 본능적인 해법은 더 큰 웨어하우스였는데, 이미 한 번 시도했지만 별 효과가 없었습니다. AceMQ는 실제로 시간을 잡아먹는 원인을 찾기 위해 투입되었습니다.
과제
서로 다른 두 가지 문제가 같은 증상을 만들고 있었습니다. 소수의 변환 쿼리가 로컬보다 몇 자릿수나 느린 원격 스토리지로 스필되고 있었고, 이렇게 오래 실행되는 쿼리가 웨어하우스를 점유하는 동안 나머지 작업은 모두 그 뒤에서 대기했습니다. 웨어하우스 크기를 늘리자 스필되는 쿼리는 조금 나아졌지만, 사용한 크레딧 대비 대기 문제는 오히려 악화되었습니다.
환경
보험 계약 및 보험금 청구 데이터를 대상으로 Airflow가 오케스트레이션하는 dbt 변환을 실행하는 Azure 기반 Snowflake.
접근 방식
AceMQ는 쿼리 이력을 활용해 쿼리별 실행 시간, 대기 시간, 스필 양을 분리해 두 문제를 각각 해결할 수 있게 했습니다. 작업 세트가 들어가지 않는 쿼리는 웨어하우스 크기와 관계없이 스필되기 때문에 쿼리 수준의 수정을 먼저 진행했습니다.
해결책
- 쿼리 이력에서 쿼리별 실행 시간, 대기 시간, 원격 스필 양을 분리
- 스필이 가장 심한 쿼리의 조인과 윈도 함수를 재작성해 중간 결과 크기 축소
- 긴 변환 작업이 더 이상 짧은 작업을 막지 않도록 파이프라인을 별도 웨어하우스로 분산
- 동시에 실행되는 짧은 쿼리를 처리하는 웨어하우스에 멀티 클러스터 스케일링 구성
- 가장 큰 소스 테이블의 클러스터링과 필터링을 바로잡아 스캔되는 마이크로 파티션 감소
- 시간대 초과의 선행 지표로 스필 양과 대기열 깊이를 파이프라인 모니터링에 추가
성과
야간 파이프라인은 다시 정해진 시간대 안에 끝났고 더 이상 업무 시간과 겹치지 않습니다. 가장 심했던 쿼리에서 원격 스필이 사라졌고, 크레딧 소비량도 이전에 시도했던 대형 웨어하우스 방식에 비해 줄었습니다.