전체 사례로 돌아가기

컨설팅헬스케어 / 복리후생

워크스페이스의 모든 작업을 깨뜨리지 않고 Hive 메타스토어에서 벗어나기

헬스케어 분석 기업

외부 위치 매핑, 테이블 업그레이드, 감사를 통과하는 권한 모델을 갖춰 레거시 Hive 메타스토어에서 Unity Catalog로 마이그레이션했습니다.

개요

Unity Catalog는 워크스페이스별 Hive 메타스토어를 계정 수준의 카탈로그로 대체하며, 리니지, 행·열 단위 접근 제어, 단일 권한 모델을 제공합니다. 마이그레이션은 원리상 간단하지만 실제로는 복잡합니다. 수년간 쌓인 테이블, 마운트 포인트, 하드코딩된 경로를 먼저 정리해야 하기 때문입니다.

과제

레거시 워크스페이스에는 보통 DBFS 마운트를 기준으로 등록된 수백 개의 테이블이 있고, 소유권이 불분명한 관리형 테이블과 외부 테이블이 섞여 있으며, Unity Catalog의 3단계 네임스페이스가 받아들이지 않는 2단계 이름을 참조하는 노트북이 있습니다. 접근 제어는 감사인이 쉽게 읽을 수 없는 클러스터 범위 ACL과 인스턴스 프로파일에 들어 있습니다. 같은 테이블이 규제 보고에 쓰이는 상황에서 한 번에 전환하는 것은 선택지가 될 수 없습니다.

환경

기존 Hive 메타스토어, DBFS 마운트, 관리형과 외부 Delta 테이블이 혼재된 AWS 또는 Azure 기반 Databricks 워크스페이스.

접근 방식

AceMQ는 기존 메타스토어를 목록화하고, 모든 테이블을 스토리지 위치와 소유권 기준으로 분류한 뒤, 클라우드 스토리지 경로를 Unity Catalog 외부 위치와 스토리지 자격 증명에 매핑합니다. 테이블은 도메인별로 여러 차례에 나누어 옮기며, 컨슈머가 전환될 때까지 두 메타스토어에서 병행 운영합니다. 권한은 테이블마다 복제하지 않고 그룹 멤버십을 기준으로 다시 구성하므로, 결과로 나온 모델을 검토할 수 있습니다.

해결책

  1. 관리형과 외부 테이블, 스토리지 경로, 활성 컨슈머를 분류하는 메타스토어 전체 인벤토리 작성
  2. 기존 클라우드 IAM 경계에 맞춘 외부 위치 및 스토리지 자격 증명 설계
  3. 컨슈머가 각자의 일정에 맞춰 마이그레이션할 수 있도록 이중 등록을 활용한 단계별 테이블 업그레이드
  4. 재작성이 필요한 2단계 테이블 참조와 DBFS 마운트 경로를 찾기 위한 노트북 및 작업 스캔
  5. 카탈로그, 스키마, 테이블 권한을 Terraform으로 정의한 그룹 기반 권한 모델
  6. 팀이 실제로 제출해야 하는 컴플라이언스 증적 기준의 리니지 및 감사 로그 검증

성과

고객은 워크스페이스 전반에 걸친 단일 거버넌스 카탈로그를 갖추게 되고, 접근 결정은 클러스터 구성이 아니라 그룹 권한으로 표현되며, 감사에 활용할 리니지를 확보합니다. 팀은 위험도가 높은 주말 전환을 한 번에 감당하는 대신 도메인별로 마이그레이션합니다.

기술

DatabricksDelta LakeApache SparkTerraform

Databricks 아키텍처 가이드가 필요하신가요?

AceMQ의 시니어 Databricks 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.