개요
Spark 잡이 연산보다 셔플 데이터를 디스크에 쓰는 데 더 많은 시간을 쓴다면, 익스큐터를 늘려도 큰 도움이 되지 않습니다. 병목은 잡이 하지 않아도 될 I/O이기 때문입니다. AceMQ는 셔플량이 어디서 생기는지 프로파일링하고, 셔플을 피하도록 잡 구조를 재구성합니다.
과제
야간 배치 잡에는 시간이 지나면서 셔플이 많은 패턴이 쌓입니다. 반복되는 리파티션, 필터보다 먼저 수행되는 조인, 프루닝되지 않은 컬럼에 대한 넓은 집계, 그리고 더 이상 데이터 양과 맞지 않는 고정 셔플 파티션 수 같은 것들입니다. 그러면 디스크 스필이 실행 시간의 대부분을 차지하고, 잡은 가장 느린 스테이지에 묶이기 때문에 배치 작업 시간이 다운스트림 보고가 의존하는 마감 시각을 조금씩 넘어서게 됩니다.
환경
YARN 또는 Kubernetes에서 야간 배치 ETL을 실행하는 Apache Spark 환경으로, 대개 수 테라바이트 규모의 Hive 또는 Delta 테이블을 대상으로 합니다.
접근 방식
AceMQ는 셔플 읽기·쓰기량과 스필 바이트를 스테이지 단위로 프로파일링해, I/O의 대부분을 차지하는 소수의 스테이지를 찾아냅니다. 그다음 설정 튜닝에 앞서 해당 스테이지를 구조적으로 개선합니다. 프레디케이트 및 프로젝션 푸시다운, 조인 순서 변경, 불필요한 리파티션 제거가 여기에 해당합니다. 파티션 크기와 직렬화 설정은 수정된 잡 구조를 기준으로 마지막에 조정합니다.
해결책
- 스테이지 단위 셔플 읽기·쓰기 및 스필 프로파일링으로 배치 작업 시간을 좌우하는 스테이지 분리
- 셔플이 운반하는 데이터를 줄이도록 프레디케이트 및 컬럼 프루닝을 조인 앞으로 이동
- 이점 없이 전체 셔플을 강제하는 불필요한 repartition 및 coalesce 호출 제거
- 실제 파티션당 데이터 양에 맞춘 shuffle.partitions 크기 조정과 Adaptive Query Execution 병합 튜닝
- 수정된 잡 구조를 기준으로 Kryo 직렬화, 압축 코덱, 셔플 버퍼 설정 조정
- 외부 셔플 서비스와 로컬 디스크 구성 검토, I/O 경합이 있는 곳에는 전용 스필 볼륨 적용 포함
성과
고객은 개선 대상 잡의 야간 배치 작업 시간을 대체로 약 3분의 1 단축하며, 가장 큰 효과는 설정이 아니라 구조 변경에서 나옵니다. 셔플량이 더 이상 데이터가 늘 때마다 함께 커지지 않으므로, 작업 시간이 다시 밀려나지 않습니다.