개요
Databricks는 DBU 단위로 과금되며, 잡 클러스터에서 몇 달러면 되는 노트북이 하루 종일 켜져 있는 대화형 범용 클러스터에서는 그 몇 배의 비용이 들 수 있습니다. AceMQ는 실제 클러스터 사용량을 그 위에서 실행되는 워크로드와 대조해 감사하고, 비용 효과를 산정한 개선 계획을 제시합니다.
과제
노트북에서 출발한 팀은 편의상 운영 ETL을 공유 범용 클러스터에 그대로 두는 경향이 있습니다. 콜드 스타트를 피하려고 오토스케일링 최솟값은 높게 잡히고, 세션이 끊기지 않도록 유휴 타임아웃은 꺼지며, 클러스터 정책은 아예 없거나 너무 느슨해 아무것도 강제하지 못합니다. 그 결과 청구 금액은 데이터 증가 속도보다 빠르게 늘어나고, 어느 팀이나 파이프라인이 비용을 만들었는지도 명확히 알 수 없게 됩니다.
환경
AWS, Azure 또는 GCP 상의 Databricks로, 노트북, 예약 잡, Delta Live Tables 파이프라인에 걸친 워크로드를 운영하는 환경.
접근 방식
AceMQ는 시스템 테이블과 클러스터 이벤트 로그를 수집해 워크로드별 DBU 프로필을 작성하고, 대화형 탐색 작업과 예약된 운영 작업을 구분합니다. 비용이 큰 워크로드마다 그 원인이 컴퓨팅 선택인지, 실행 시간인지, 데이터 레이아웃인지를 검토합니다. 이어서 팀의 규율에 의존하지 않고 저렴한 경로가 기본 경로가 되도록 클러스터 정책과 인스턴스 풀 구성을 정의합니다.
해결책
- 시스템 테이블과 클러스터 이벤트 로그를 기반으로 워크로드, 팀, 클러스터 유형별 DBU 사용량 귀속
- 예약 파이프라인을 범용 클러스터에서 수명이 짧은 잡 클러스터로 이전
- 워크로드별 Photon 및 스팟 인스턴스 적합성을 포함한 오토스케일링 하한, 유휴 타임아웃, 인스턴스 패밀리 검토
- 워크스페이스와 팀별로 노드 유형, 워커 수, DBR 버전을 제한하는 클러스터 정책 수립
- 야간에 웜 용량을 유지하지 않으면서도 콜드 스타트 비용을 줄이는 인스턴스 풀 설계
- 플랫폼 지출을 이를 발생시킨 팀에 귀속시키는 태깅 및 비용 배부(chargeback) 모델 구축
성과
고객사는 DBU 지출의 대부분을 차지하는 워크로드의 우선순위 목록과, 새로운 작업이 같은 패턴을 반복하지 않도록 막는 정책 세트를 확보합니다. 대부분의 프로젝트에서 파이프라인 로직을 하나도 바꾸지 않고도 플랫폼 지출을 의미 있게 줄일 만큼의 유휴·과대 컴퓨팅 자원을 찾아냅니다.