개요
Spark의 익스큐터 OOM은 대개 증상일 뿐이며, 근본 원인은 소수의 조인 키나 그룹 키가 전체 행에서 지나치게 큰 비중을 차지하는 데 있는 경우가 많습니다. AceMQ는 작업이 더 이상 죽지 않을 때까지 익스큐터 메모리를 늘리는 대신 스큐를 직접 진단합니다.
과제
흔한 패턴은 null 대체값이나 기본 테넌트 ID가 전체 행의 상당 부분을 차지하는 컬럼으로 조인하는 경우입니다. 그 행들은 모두 같은 파티션으로 해시되고, 익스큐터 하나가 이를 전부 감당하려다 죽습니다. 팀들은 spark.executor.memory를 올리는 것으로 대응하는데, 이는 장애를 늦추고 클러스터 비용만 늘릴 뿐 아무것도 해결하지 못합니다. 그사이 스테이지 실행 시간은 가장 느린 태스크에 좌우되므로 작업 시간대는 계속 늘어납니다.
환경
YARN, Kubernetes 또는 Databricks 기반 Apache Spark에서 Hive, Delta, Iceberg 테이블을 대상으로 배치 ETL을 실행하는 환경.
접근 방식
AceMQ는 Spark UI의 스테이지 상세 정보와 이벤트 로그를 읽어 태스크별 입력 크기와 셔플 읽기 분포를 비교합니다. 이렇게 하면 스큐가 즉시 드러납니다. 해결 방법은 데이터에 맞게 선택합니다. 버전이 지원하면 적응형 쿼리 실행(AQE)을, 지속적인 핫 키에는 솔팅을, null 키 행은 조인 경로에서 필터링하고, 디멘션 쪽이 정말로 작으면 브로드캐스트를 적용합니다.
해결책
- 이벤트 로그에서 태스크별 입력 및 셔플 읽기 분포를 분석해 치우친 키를 식별하고 정량화
- Adaptive Query Execution을 활성화하고, 관측된 분포에 맞춰 스큐 조인 및 파티션 병합 임계값 튜닝
- 지속적인 핫 키에 대한 키 솔팅과 그에 맞는 집계 로직 재작성
- 비즈니스 의미가 없는 null 키와 센티널 키 행을 조인 경로에서 제외
- 익스큐터 메모리, 코어 수, 메모리 오버헤드 크기를 분포 문제를 해결하기 전이 아니라 해결한 뒤에 바로잡기
- 불필요한 전체 셔플을 막기 위한 파티션 수 및 repartition 위치 검토
성과
OOM으로 간헐적으로 실패하던 야간 작업이 안정적으로 완료되며, 어떤 태스크도 파티션 전체를 떠안지 않으므로 스테이지 실행 시간이 고르게 평준화됩니다. 클러스터 메모리 할당량은 대개 늘어나기는커녕 오히려 줄어듭니다.