전체 사례로 돌아가기

컨설팅산업 공통

소스를 Trino로 끌어오지 말고, 작업을 소스로 내려보내십시오

글로벌 물류 운영 기업

전체 테이블을 Trino 워커로 끌어오는 대신 조건절, 집계, 조인이 소스 커넥터에서 실행되도록 개선했습니다.

개요

Starburst의 가치는 커넥터가 소스에서 작업을 처리하는 데 달려 있습니다. 푸시다운이 소리 없이 실패하면 Trino는 테이블 전체를 네트워크로 스트리밍한 뒤 워커 메모리에서 필터링하는 방식으로 이를 메우는데, 이는 쿼리에 답하는 가장 느린 방법입니다. AceMQ는 푸시다운이 깨지는 지점을 찾아 그 원인이 되는 조건을 바로잡습니다.

과제

푸시다운 실패는 조용히 일어납니다. Snowflake나 PostgreSQL에 필터링과 집계를 마친 요청을 보내야 할 쿼리가, 조건절 컬럼의 CAST가 커넥터의 쿼리 재작성을 무력화하거나, 소스에 대응하는 함수가 없거나, 카탈로그 간 조인 키 타입이 달라서 대신 전체 테이블 스캔을 실행합니다. 팀은 느린 쿼리를 보고 워커를 추가하지만, 이는 실제 문제는 건드리지 못한 채 비용만 늘립니다.

환경

온프레미스와 클라우드에 걸쳐 관계형 소스, 오브젝트 스토리지, 웨어하우스 커넥터를 페더레이션하는 Starburst Enterprise 또는 Galaxy.

접근 방식

AceMQ는 반복적으로 실행되는 가장 느린 쿼리의 EXPLAIN과 EXPLAIN ANALYZE 출력을 읽고, 커넥터가 어떤 연산자를 받아들였고 어떤 연산자가 Trino에 남았는지 정확히 파악합니다. 막힌 푸시다운마다 타입 불일치, 지원되지 않는 함수, 누락된 통계 등 원인을 추적해 쿼리, 뷰, 커넥터 구성 수준에서 수정합니다. 이후 비용 기반 최적화기가 합리적인 조인 순서를 고를 수 있도록 필요한 통계를 제공합니다.

해결책

  1. 반복 실행되는 가장 느린 쿼리의 EXPLAIN ANALYZE를 검토해 푸시다운되지 않은 조건절, 집계, 조인을 식별
  2. 카탈로그 간 타입을 맞춰, 조인 키와 필터 컬럼이 커넥터 재작성을 무력화하는 캐스트를 더 이상 강제하지 않도록 조정
  3. 소스 시스템별로 조건절, 집계, 조인, TopN 푸시다운에 대한 커넥터 수준 구성
  4. 비용 기반 최적화기가 올바른 조인 순서와 분산 방식을 선택하도록 테이블 통계 수집과 ANALYZE 일정 수립
  5. 페더레이션 소스 간 스타 스키마 조인을 위한 동적 필터링 구성
  6. 정말로 푸시다운할 수 없는 소수의 소스 간 조인을 위한 materialized view 및 캐시 서비스 설계

성과

원격 테이블 전체를 스캔하던 쿼리가 다시 소스 측에서 실행되고, 네트워크를 오가는 데이터 양이 크게 줄었습니다. 클러스터가 더 이상 소스 데이터베이스가 했어야 할 작업을 떠안지 않기 때문에, 고객은 대개 Trino 워커 추가를 미룰 수 있게 됩니다.

기술

StarburstTrinoApache HivePostgreSQL

Starburst 아키텍처 가이드가 필요하신가요?

AceMQ의 시니어 Starburst 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.