개요
트리거 주기가 짧은 스트리밍 작업과 카디널리티가 높은 파티션 컬럼으로 채워지는 Delta 테이블에는 누구도 눈치채지 못할 만큼 빠르게 작은 파일이 쌓입니다. 몇 초 만에 결과를 반환하던 쿼리가 시간 대부분을 파일 목록 조회와 메타데이터 해석에 쓰기 시작합니다. AceMQ는 테이블을 정리하고, 문제를 만든 쓰기 경로까지 바로잡습니다.
과제
증상은 대개 갑자기가 아니라 꾸준히 늘어나는 읽기 지연으로 나타납니다. 8초 걸리던 대시보드 쿼리가 이제 4분 걸리고, OPTIMIZE 작업은 정해진 시간대를 넘겨 강제 종료되며, 파일 목록 자체가 너무 커서 VACUUM이 완료되지 않습니다. 테이블 전체에 무작정 OPTIMIZE를 실행하면 팀이 예산으로 잡은 것보다 많은 컴퓨팅을 소모하는 재작성이 일어나고, 동시에 쓰는 작업과 충돌합니다.
환경
클라우드 오브젝트 스토리지에서 Structured Streaming, Auto Loader 또는 빈번한 마이크로 배치 작업이 쓰는 Delta 테이블을 사용하는 Databricks.
접근 방식
AceMQ는 파티션별 파일 수와 크기 분포를 프로파일링해 피해가 집중된 곳을 찾은 다음, 각 OPTIMIZE 실행이 유지보수 시간대 안에 끝나고 활성 쓰기 작업과 충돌하지 않도록 파티션 범위 단위로 점진적으로 압축합니다. 테이블이 정상화되면 쓰기 경로, 즉 트리거 주기, 파티션 컬럼 선택, 자동 압축 설정을 수정해 문제가 재발하지 않도록 합니다.
해결책
- 파티션별 파일 수와 크기를 프로파일링해 작은 파일이 실제로 쌓이는 위치 파악
- 실제 쿼리 조건을 기준으로 한 ZORDER와 함께 점진적 OPTIMIZE를 수행하되, 유지보수 시간대에 맞춰 파티션 범위별로 일정 수립
- 파티션 전략 검토. 대개 ZORDER 키로 써야 할 고카디널리티 컬럼을 파티션에서 제거
- 스트리밍 쓰기 경로에 auto-optimize 및 자동 압축을 구성하고 목표 파일 크기 튜닝
- 파일 수가 정상 범위로 돌아온 뒤 VACUUM 보존 기간 검토 및 단계적 실행
- MERGE가 많은 테이블의 deletion vector 및 체크포인트 설정 검토
성과
영향을 받은 테이블의 읽기 지연은 대개 원래 수준으로 돌아오고, 유지보수 작업도 다시 정해진 시간대 안에 끝납니다. 같은 프로젝트에서 쓰기 경로까지 수정하기 때문에, 파일 수는 다음 분기 동안 다시 늘어나지 않고 일정하게 유지됩니다.