개요
Databricks 워크플로가 새벽 3시에 실패하고 다운스트림 보고가 그에 의존할 때, 쓸모 있는 대응은 티켓 대기열이 아니라 드라이버 로그와 Spark UI를 읽을 줄 아는 엔지니어입니다. AceMQ는 플랜에 따라 15분부터 시작하는 대응 목표를 갖춘 전담 시니어 엔지니어를 24/7로 제공하며, 거쳐 가야 할 1차 지원 계층이 없습니다.
과제
Databricks의 프로덕션 작업 장애는 원인이 하나인 경우가 드뭅니다. 드라이버 OOM은 커진 데이터 세트에 대한 collect() 호출에서 비롯될 수 있고, 연쇄적인 태스크 실패는 셔플 도중의 스팟 인스턴스 회수 때문일 수 있으며, 갑작스러운 임포트 오류는 런타임 업그레이드 후 클러스터 범위 라이브러리가 DBR 번들 버전을 가리는 문제일 수 있습니다. 여기에 워크플로 재시도 정책이 같은 문제 상황에서 비용이 큰 단계를 다시 실행하면서 장애 비용을 몇 배로 키웁니다.
환경
Workflows, Delta Live Tables 또는 외부 오케스트레이션 작업을 실행하는 AWS, Azure 또는 GCP 기반 Databricks.
접근 방식
AceMQ 엔지니어는 드라이버 및 익스큐터 로그, Spark UI 이벤트 타임라인, 클러스터 이벤트 이력을 분석해 촉발 이벤트와 근본적인 취약점을 구분합니다. 먼저 오늘 밤 실행을 통과시키는 즉각적인 안정화를 진행하고, 이어서 근본 원인 보고서와 재발을 막는 구성 또는 코드 변경을 제공합니다.
해결책
- 플랜에 따라 15분부터 시작하는 대응 목표, 1차 분류 없이 전담 시니어 엔지니어가 24/7 대응
- 데이터를 드라이버로 끌어오는 collect, broadcast, accumulator 패턴을 포함한 드라이버 및 익스큐터 OOM 분석
- 스팟 회수 및 노드 손실 진단과 온디맨드 드라이버 및 혼합 구성 워커 권고
- 클러스터 범위, 노트북 범위, init 스크립트 설치 전반의 라이브러리 및 DBR 버전 충돌 해결
- 일시적이지 않은 장애에서 재시도 폭주를 막기 위한 워크플로 재시도 및 태스크 의존성 검토
- 재발을 막는 구체적인 구성 또는 코드 변경을 담은 장애 사후 보고서
성과
고객은 프로덕션 Databricks 장애를 여러 영업일이 아니라 몇 시간 안에 해결하며, 근본적인 취약점을 재시도로 넘기지 않고 수정하면서 반복 장애도 줄어듭니다.