전체 사례로 돌아가기

문제 해결통신

태스크 199개가 1분 만에 끝나고 하나만 1시간씩 걸린다면, 문제는 스큐입니다

통신 사업자

소수의 치우친 키가 데이터를 몇몇 익스큐터에 몰아넣어 메모리 부족(OOM) 장애가 반복되던 야간 작업을 수정한 사례입니다.

개요

Spark의 익스큐터 OOM은 대개 증상일 뿐이며, 근본 원인은 소수의 조인 키나 그룹 키가 전체 행에서 지나치게 큰 비중을 차지하는 데 있는 경우가 많습니다. AceMQ는 작업이 더 이상 죽지 않을 때까지 익스큐터 메모리를 늘리는 대신 스큐를 직접 진단합니다.

과제

흔한 패턴은 null 대체값이나 기본 테넌트 ID가 전체 행의 상당 부분을 차지하는 컬럼으로 조인하는 경우입니다. 그 행들은 모두 같은 파티션으로 해시되고, 익스큐터 하나가 이를 전부 감당하려다 죽습니다. 팀들은 spark.executor.memory를 올리는 것으로 대응하는데, 이는 장애를 늦추고 클러스터 비용만 늘릴 뿐 아무것도 해결하지 못합니다. 그사이 스테이지 실행 시간은 가장 느린 태스크에 좌우되므로 작업 시간대는 계속 늘어납니다.

환경

YARN, Kubernetes 또는 Databricks 기반 Apache Spark에서 Hive, Delta, Iceberg 테이블을 대상으로 배치 ETL을 실행하는 환경.

접근 방식

AceMQ는 Spark UI의 스테이지 상세 정보와 이벤트 로그를 읽어 태스크별 입력 크기와 셔플 읽기 분포를 비교합니다. 이렇게 하면 스큐가 즉시 드러납니다. 해결 방법은 데이터에 맞게 선택합니다. 버전이 지원하면 적응형 쿼리 실행(AQE)을, 지속적인 핫 키에는 솔팅을, null 키 행은 조인 경로에서 필터링하고, 디멘션 쪽이 정말로 작으면 브로드캐스트를 적용합니다.

해결책

  1. 이벤트 로그에서 태스크별 입력 및 셔플 읽기 분포를 분석해 치우친 키를 식별하고 정량화
  2. Adaptive Query Execution을 활성화하고, 관측된 분포에 맞춰 스큐 조인 및 파티션 병합 임계값 튜닝
  3. 지속적인 핫 키에 대한 키 솔팅과 그에 맞는 집계 로직 재작성
  4. 비즈니스 의미가 없는 null 키와 센티널 키 행을 조인 경로에서 제외
  5. 익스큐터 메모리, 코어 수, 메모리 오버헤드 크기를 분포 문제를 해결하기 전이 아니라 해결한 뒤에 바로잡기
  6. 불필요한 전체 셔플을 막기 위한 파티션 수 및 repartition 위치 검토

성과

OOM으로 간헐적으로 실패하던 야간 작업이 안정적으로 완료되며, 어떤 태스크도 파티션 전체를 떠안지 않으므로 스테이지 실행 시간이 고르게 평준화됩니다. 클러스터 메모리 할당량은 대개 늘어나기는커녕 오히려 줄어듭니다.

기술

Apache SparkApache HadoopDelta LakeYARN

Apache Spark 프로덕션 문제에 직면해 계신가요?

AceMQ의 시니어 Apache Spark 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.