전체 사례로 돌아가기

기술 지원산업 공통

1차 분류 없이 플랜에 따라 15분부터 시작하는 대응 목표로 제공하는 24/7 Databricks 기술 지원

보험 서비스 그룹

드라이버 OOM, 스팟 회수, 라이브러리 충돌, 워크플로 재시도 폭주 등 프로덕션 Databricks 작업 장애에 대해 전담 엔지니어가 기술 지원을 제공합니다.

개요

Databricks 워크플로가 새벽 3시에 실패하고 다운스트림 보고가 그에 의존할 때, 쓸모 있는 대응은 티켓 대기열이 아니라 드라이버 로그와 Spark UI를 읽을 줄 아는 엔지니어입니다. AceMQ는 플랜에 따라 15분부터 시작하는 대응 목표를 갖춘 전담 시니어 엔지니어를 24/7로 제공하며, 거쳐 가야 할 1차 지원 계층이 없습니다.

과제

Databricks의 프로덕션 작업 장애는 원인이 하나인 경우가 드뭅니다. 드라이버 OOM은 커진 데이터 세트에 대한 collect() 호출에서 비롯될 수 있고, 연쇄적인 태스크 실패는 셔플 도중의 스팟 인스턴스 회수 때문일 수 있으며, 갑작스러운 임포트 오류는 런타임 업그레이드 후 클러스터 범위 라이브러리가 DBR 번들 버전을 가리는 문제일 수 있습니다. 여기에 워크플로 재시도 정책이 같은 문제 상황에서 비용이 큰 단계를 다시 실행하면서 장애 비용을 몇 배로 키웁니다.

환경

Workflows, Delta Live Tables 또는 외부 오케스트레이션 작업을 실행하는 AWS, Azure 또는 GCP 기반 Databricks.

접근 방식

AceMQ 엔지니어는 드라이버 및 익스큐터 로그, Spark UI 이벤트 타임라인, 클러스터 이벤트 이력을 분석해 촉발 이벤트와 근본적인 취약점을 구분합니다. 먼저 오늘 밤 실행을 통과시키는 즉각적인 안정화를 진행하고, 이어서 근본 원인 보고서와 재발을 막는 구성 또는 코드 변경을 제공합니다.

해결책

  1. 플랜에 따라 15분부터 시작하는 대응 목표, 1차 분류 없이 전담 시니어 엔지니어가 24/7 대응
  2. 데이터를 드라이버로 끌어오는 collect, broadcast, accumulator 패턴을 포함한 드라이버 및 익스큐터 OOM 분석
  3. 스팟 회수 및 노드 손실 진단과 온디맨드 드라이버 및 혼합 구성 워커 권고
  4. 클러스터 범위, 노트북 범위, init 스크립트 설치 전반의 라이브러리 및 DBR 버전 충돌 해결
  5. 일시적이지 않은 장애에서 재시도 폭주를 막기 위한 워크플로 재시도 및 태스크 의존성 검토
  6. 재발을 막는 구체적인 구성 또는 코드 변경을 담은 장애 사후 보고서

성과

고객은 프로덕션 Databricks 장애를 여러 영업일이 아니라 몇 시간 안에 해결하며, 근본적인 취약점을 재시도로 넘기지 않고 수정하면서 반복 장애도 줄어듭니다.

기술

DatabricksApache SparkDelta Lake

Databricks 전문 기술 지원이 필요하신가요?

AceMQ의 시니어 Databricks 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.