개요
Spark 환경은 조금씩 덧붙여지며 커집니다. 잡은 복사되고, 리소스 요청은 마감을 한 번 맞추려고 부풀린 뒤 다시는 조정되지 않으며, 파이프라인은 데이터를 공급하던 보고서가 사라진 뒤에도 남아 있습니다. AceMQ는 환경 전체를 프로파일링해 수정할 것, 통합할 것, 삭제할 것을 우선순위 목록으로 정리해 드립니다.
과제
어떤 잡이 실행되고, 비용이 얼마나 들며, 누가 그 결과물을 사용하는지 전체 그림을 파악한 사람이 없었습니다. 실행기 수와 메모리 설정은 측정이 아니라 방어적으로 정해졌습니다. 여러 파이프라인이 같은 소스에서 거의 같은 집계를 계산하고 있었습니다. 상당수의 잡은 처리량이 작아 Spark의 오버헤드가 실제 작업량보다 컸고, 단일 노드 프로세스로 실행하는 편이 더 빨랐을 것입니다.
환경
Airflow 또는 네이티브 스케줄러로 잡을 오케스트레이션하는 Kubernetes, EMR, Dataproc 또는 Databricks 상의 Apache Spark.
접근 방식
AceMQ는 환경 전반의 이벤트 로그와 스케줄러 이력을 수집해 잡별 실행 시간, 리소스 할당량, 사용률 프로필을 작성합니다. 할당된 리소스를 관측된 최대 사용량과 비교해 과잉 프로비저닝을 찾아내고, 출력 데이터 계보를 추적해 더 이상 소비처가 없는 파이프라인을 찾아냅니다. 모든 발견 사항에는 일반적인 소견이 아니라 구체적인 권장 조치가 함께 제시됩니다.
해결책
- 실행 시간, 할당 리소스, 최대 사용률, 실행당 비용을 포함한 환경 전체의 잡 목록
- 요청된 실행기 메모리 및 코어를 측정된 최대 사용량과 비교한 과잉 프로비저닝 분석
- 소스 및 출력 데이터 계보를 통한 중복 및 유사 중복 파이프라인 탐지
- Spark 오버헤드가 작업량보다 커서 단일 노드 엔진이 더 빠르고 저렴한 소규모 잡 식별
- 다운스트림 소비처가 더 이상 결과물을 읽지 않는 고아 파이프라인 탐지
- 필요한 엔지니어링 노력 대비 절감 비용 순으로 정렬한 우선순위 개선 백로그
성과
고객사는 일반적인 효율성 보고서가 아니라 구체적이고 우선순위가 정해진 백로그를 받습니다. 대부분의 환경에는 잡을 하나도 다시 작성하지 않고도 컴퓨팅 지출을 크게 줄일 수 있을 만큼의 과잉 프로비저닝 및 고아 작업이 존재합니다.