전체 사례로 돌아가기

문제 해결소프트웨어 / 디지털 플랫폼

Delta 테이블을 막고 있는 작은 파일을 압축하고, 압축된 상태를 계속 유지합니다

디지털 리테일 플랫폼 기업

스트리밍 쓰기와 과도한 파티셔닝으로 수백만 개의 작은 파일이 생겨 읽기와 VACUUM 작업이 멈춰 버린 Delta 테이블을 바로잡았습니다.

개요

트리거 주기가 짧은 스트리밍 작업과 카디널리티가 높은 파티션 컬럼으로 채워지는 Delta 테이블에는 누구도 눈치채지 못할 만큼 빠르게 작은 파일이 쌓입니다. 몇 초 만에 결과를 반환하던 쿼리가 시간 대부분을 파일 목록 조회와 메타데이터 해석에 쓰기 시작합니다. AceMQ는 테이블을 정리하고, 문제를 만든 쓰기 경로까지 바로잡습니다.

과제

증상은 대개 갑자기가 아니라 꾸준히 늘어나는 읽기 지연으로 나타납니다. 8초 걸리던 대시보드 쿼리가 이제 4분 걸리고, OPTIMIZE 작업은 정해진 시간대를 넘겨 강제 종료되며, 파일 목록 자체가 너무 커서 VACUUM이 완료되지 않습니다. 테이블 전체에 무작정 OPTIMIZE를 실행하면 팀이 예산으로 잡은 것보다 많은 컴퓨팅을 소모하는 재작성이 일어나고, 동시에 쓰는 작업과 충돌합니다.

환경

클라우드 오브젝트 스토리지에서 Structured Streaming, Auto Loader 또는 빈번한 마이크로 배치 작업이 쓰는 Delta 테이블을 사용하는 Databricks.

접근 방식

AceMQ는 파티션별 파일 수와 크기 분포를 프로파일링해 피해가 집중된 곳을 찾은 다음, 각 OPTIMIZE 실행이 유지보수 시간대 안에 끝나고 활성 쓰기 작업과 충돌하지 않도록 파티션 범위 단위로 점진적으로 압축합니다. 테이블이 정상화되면 쓰기 경로, 즉 트리거 주기, 파티션 컬럼 선택, 자동 압축 설정을 수정해 문제가 재발하지 않도록 합니다.

해결책

  1. 파티션별 파일 수와 크기를 프로파일링해 작은 파일이 실제로 쌓이는 위치 파악
  2. 실제 쿼리 조건을 기준으로 한 ZORDER와 함께 점진적 OPTIMIZE를 수행하되, 유지보수 시간대에 맞춰 파티션 범위별로 일정 수립
  3. 파티션 전략 검토. 대개 ZORDER 키로 써야 할 고카디널리티 컬럼을 파티션에서 제거
  4. 스트리밍 쓰기 경로에 auto-optimize 및 자동 압축을 구성하고 목표 파일 크기 튜닝
  5. 파일 수가 정상 범위로 돌아온 뒤 VACUUM 보존 기간 검토 및 단계적 실행
  6. MERGE가 많은 테이블의 deletion vector 및 체크포인트 설정 검토

성과

영향을 받은 테이블의 읽기 지연은 대개 원래 수준으로 돌아오고, 유지보수 작업도 다시 정해진 시간대 안에 끝납니다. 같은 프로젝트에서 쓰기 경로까지 수정하기 때문에, 파일 수는 다음 분기 동안 다시 늘어나지 않고 일정하게 유지됩니다.

기술

DatabricksDelta LakeApache Spark

Databricks 프로덕션 문제에 직면해 계신가요?

AceMQ의 시니어 Databricks 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.