Volver a todos los casos de uso

ConsultoríaMultisectorial

Empujar el trabajo hacia el origen en lugar de arrastrar el origen hasta Trino

Operador logístico global

Lograr que los predicados, las agregaciones y los joins se ejecuten en el conector de origen en lugar de traer tablas completas a los workers de Trino.

Descripción general

El valor de Starburst depende de que los conectores hagan el trabajo en el origen. Cuando el pushdown falla en silencio, Trino lo compensa transmitiendo tablas enteras por la red y filtrándolas en la memoria de los workers, que es la forma más lenta posible de responder la consulta. AceMQ encuentra dónde se rompe el pushdown y corrige las condiciones que lo rompen.

Desafío

Las fallas de pushdown no hacen ruido. Una consulta que debería enviar a Snowflake o PostgreSQL una solicitud filtrada y agregada termina lanzando un escaneo completo de la tabla porque un CAST sobre la columna del predicado anuló la reescritura del conector, porque una función no tiene equivalente en el origen o porque los tipos de la clave de join difieren entre catálogos. Los equipos ven consultas lentas y agregan workers, lo que aumenta el costo sin tocar el problema real.

Entorno

Starburst Enterprise o Galaxy federando orígenes relacionales, almacenamiento de objetos y conectores de warehouse, on-premises y en la nube.

Enfoque

AceMQ lee la salida de EXPLAIN y EXPLAIN ANALYZE de las consultas recurrentes más lentas para ver exactamente qué operadores aceptó el conector y cuáles quedaron en Trino. Cada pushdown bloqueado se rastrea hasta su causa (tipos que no coinciden, función no soportada, estadísticas faltantes) y se corrige a nivel de la consulta, de la vista o de la configuración del conector. Después, se le dan a la optimización basada en costos las estadísticas que necesita para elegir órdenes de join razonables.

Solución

  1. Revisión con EXPLAIN ANALYZE de las consultas recurrentes más lentas para identificar qué predicados, agregaciones y joins no se lograron empujar al origen
  2. Alineación de tipos entre catálogos para que las claves de join y las columnas de filtro dejen de forzar casts que anulan las reescrituras del conector
  3. Configuración a nivel de conector del pushdown de predicados, agregaciones, joins y TopN para cada sistema de origen
  4. Recolección de estadísticas de tablas y programación de ANALYZE para que el optimizador basado en costos elija el orden de join y la distribución correctos
  5. Configuración de dynamic filtering para joins de esquema en estrella entre orígenes federados
  6. Diseño de vistas materializadas y del servicio de caché para los pocos joins entre orígenes que realmente no se pueden empujar al origen

Resultado final

Las consultas que antes escaneaban tablas remotas completas vuelven a ejecutarse en el origen, y el volumen de datos que cruza la red cae de forma marcada. En general, los clientes descubren que pueden postergar la incorporación de workers de Trino porque el clúster ya no hace el trabajo que debería haber hecho la base de datos de origen.

Tecnologías

StarburstTrinoApache HivePostgreSQL

¿Necesita orientación de arquitectura para Starburst?

Los ingenieros sénior de Starburst de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.