전체 사례로 돌아가기

기술 지원산업 / 제조

룩업 테이블이 커지기 전까지 2년 동안 잘 돌던 작업

산업 자동화 제조 기업

디멘션 테이블이 브로드캐스트 임계값을 넘어섰는데도 옵티마이저가 계속 브로드캐스트를 시도해 작업이 실패하던 문제를 해결했습니다.

개요

브로드캐스트 조인은 한쪽이 작을 때 가장 빠른 선택지이지만, 그쪽이 조용히 작지 않게 되면 운영 장애의 단골 원인이 됩니다. AceMQ는 장애가 끝난 뒤가 아니라 장애가 진행되는 동안 이런 문제를 진단하고 해결하는 전담 시니어 엔지니어를 제공합니다.

과제

디멘션 테이블이 브로드캐스트 임계값을 넘어서면, 드라이버가 이를 구체화하다가 메모리가 부족해지거나 익스큐터가 데이터를 받기를 기다리다 브로드캐스트가 타임아웃됩니다. 오래된 통계가 상황을 악화시킵니다. 옵티마이저가 몇 달 전에 수집된 행 수를 기준으로 브로드캐스트를 계획하기 때문입니다. 코드에 남아 있는 명시적 브로드캐스트 힌트는 상황을 더 나쁘게 만듭니다. 옵티마이저가 브로드캐스트를 철회할 재량이 없어지기 때문입니다. 결국 아무도 건드리지 않은 작업에서 갑자기 장애가 발생합니다.

환경

YARN, Kubernetes, EMR 또는 Databricks에서 실행되는 Apache Spark. 시간이 지나며 커지는 디멘션 테이블과 조인을 수행.

접근 방식

AceMQ 엔지니어는 물리 실행 계획을 통해 브로드캐스트가 시도되고 있는지와 그 이유를 확인한 뒤, 실제 빌드 측 크기를 임계값 및 드라이버의 가용 메모리와 비교합니다. 즉각적인 해결책은 대개 임계값 조정, 힌트 제거, 드라이버 메모리 조정입니다. 근본적인 해결책은 통계를 꾸준히 관리하고, 코드베이스에 남아 있는 모든 명시적 브로드캐스트 힌트를 검토하는 것입니다.

해결책

  1. 플랜에 따라 15분부터 시작하는 대응 목표, 1차 분류 단계 없이 전담 시니어 엔지니어가 24/7 대응
  2. 물리 실행 계획을 검토해 브로드캐스트 선택 여부를 확인하고, 실제 빌드 측 크기를 설정된 임계값과 비교 측정
  3. 실제 드라이버 메모리에 맞춰 autoBroadcastJoinThreshold 및 broadcastTimeout 값 조정
  4. 테이블 크기 증가와 무관하게 옵티마이저 판단을 무시하는 명시적 브로드캐스트 힌트를 제거하거나 적용 범위 제한
  5. 옵티마이저가 현재 행 수를 기준으로 계획하도록 통계 갱신 및 ANALYZE TABLE 일정 수립
  6. 런타임에 소트 머지 조인으로 전환할 수 있도록 Adaptive Query Execution 구성

성과

실패하던 작업은 당일에 정상화되었습니다. 문제가 생긴 작업 하나만이 아니라 코드베이스 전반에서 통계가 관리되고 오래된 힌트가 제거되었기 때문에 같은 패턴이 다시 발생하지 않습니다.

기술

Apache SparkDelta LakeApache Hive

Apache Spark 전문 기술 지원이 필요하신가요?

AceMQ의 시니어 Apache Spark 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.