전체 사례로 돌아가기

컨설팅산업 공통

실제로 일하는 컴퓨팅에만 비용을 지불합니다

글로벌 물류 기업

웨어하우스 크기, 자동 일시 중지 정책, 워크로드 격리를 재구성해 크레딧 소비를 실제로 수행되는 작업량에 맞췄습니다.

개요

한 물류 기업의 Snowflake 지출은 데이터 양이나 사용자 수보다 빠르게 늘고 있었고, 재무팀은 다음 약정을 승인하기 전에 그 이유를 알고 싶어 했습니다. AceMQ는 각 웨어하우스가 실제로 수행하는 작업에 비추어 소비량을 분석했습니다.

과제

증가분의 대부분은 실제 수요가 아니라 구조적인 선택에서 나왔습니다. 웨어하우스는 느린 쿼리 하나를 해결하려고 크기를 키운 뒤 다시 줄이지 않았습니다. 자동 일시 중지 시간이 길게 설정되어 있어 웨어하우스가 오랫동안 유휴 상태로 있으면서도 계속 과금되었습니다. 여러 팀이 웨어하우스를 공유했기 때문에 경합이 생겼고, 이는 누구에게도 딱히 도움이 되지 않는 추가 증설로 이어졌습니다.

환경

여러 팀의 비즈니스 인텔리전스, dbt 변환, 임시 분석을 처리하는 AWS 기반 Snowflake.

접근 방식

AceMQ는 평균이 아닌 근거로 결정할 수 있도록 웨어하우스, 워크로드, 쿼리 패턴 단위까지 소비량을 귀속시키는 분석 체계를 구축했습니다. 이어서 워크로드별 실측 프로파일에 맞춰 크기를 설정하고, 자동 일시 중지는 기본값이 아니라 유휴 과금과 캐시 유지 사이의 균형에 맞춰 튜닝했습니다.

해결책

  1. 웨어하우스, 워크로드, 팀, 쿼리 패턴별 크레딧 소비 귀속 분석 구축
  2. 웨어하우스에서 실행된 최악의 쿼리가 아니라 실측 쿼리 프로파일을 기준으로 각 웨어하우스 규모 조정
  3. 유휴 과금과 결과 캐시 유지 사이의 실제 균형을 기준으로 웨어하우스별 자동 일시 중지 튜닝
  4. 크기 결정이 더 이상 타협이 되지 않도록 경합하는 워크로드를 전용 웨어하우스로 분리
  5. 쿼리 크기가 아닌 동시성이 실제 제약인 경우에만 멀티 클러스터 스케일링 적용
  6. 임계값 도달 전에 알림을 보내는 리소스 모니터와 팀별 가드레일 설정

성과

어떤 워크로드의 쿼리 성능도 떨어뜨리지 않고 크레딧 소비가 의미 있게 줄었으며, 데이터 양 대비 증가 곡선도 완만해졌습니다. 이제 재무팀은 팀별 귀속 데이터를 갖고 있어, 비용 논의가 단일 합계 숫자가 아니라 구체적인 워크로드를 기준으로 이루어집니다.

기술

SnowflakedbtTerraformAirflow

Snowflake 아키텍처 가이드가 필요하신가요?

AceMQ의 시니어 Snowflake 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.