Volver a todos los casos de uso

ConsultoríaMultisectorial

Lleve el trabajo hasta el origen en lugar de arrastrar el origen hasta Trino

Operador logístico global

Conseguir que los predicados, las agregaciones y los joins se ejecuten en el conector de origen en lugar de traer tablas completas a los workers de Trino.

Descripción general

El valor de Starburst depende de que los conectores hagan el trabajo en el origen. Cuando el pushdown falla sin avisar, Trino lo compensa transmitiendo tablas enteras por la red y filtrándolas en la memoria de los workers, que es la forma más lenta posible de responder a la consulta. AceMQ localiza dónde se rompe el pushdown y corrige las condiciones que lo provocan.

Reto

Los fallos de pushdown son silenciosos. Una consulta que debería enviar a Snowflake o a PostgreSQL una petición filtrada y agregada lanza en su lugar un escaneo completo de la tabla, porque un CAST sobre la columna del predicado ha impedido la reescritura del conector, porque una función no tiene equivalente en el origen o porque los tipos de la clave de join difieren entre catálogos. Los equipos ven consultas lentas y añaden workers, lo que aumenta el coste sin tocar el problema real.

Entorno

Starburst Enterprise o Galaxy federando fuentes relacionales, almacenamiento de objetos y conectores de data warehouse en entornos on-premise y en la nube.

Enfoque

AceMQ analiza la salida de EXPLAIN y EXPLAIN ANALYZE de las consultas recurrentes más lentas para ver exactamente qué operadores aceptó el conector y cuáles se quedaron en Trino. Cada pushdown bloqueado se rastrea hasta su causa (discrepancia de tipos, función no soportada, estadísticas ausentes) y se corrige en la consulta, en la vista o en la configuración del conector. Después, se proporcionan a la optimización basada en costes las estadísticas que necesita para elegir órdenes de join razonables.

Solución

  1. Revisión con EXPLAIN ANALYZE de las consultas recurrentes más lentas para identificar qué predicados, agregaciones y joins no se delegaron al origen
  2. Alineación de tipos entre catálogos para que las claves de join y las columnas de filtro dejen de forzar conversiones que impiden la reescritura del conector
  3. Configuración a nivel de conector del pushdown de predicados, agregaciones, joins y TopN para cada sistema de origen
  4. Recogida de estadísticas de tablas y programación de ANALYZE para que el optimizador basado en costes elija el orden de join y la distribución adecuados
  5. Configuración del filtrado dinámico para joins en esquemas en estrella entre fuentes federadas
  6. Diseño de vistas materializadas y del servicio de caché para los pocos joins entre fuentes que realmente no pueden delegarse al origen

Resultado final

Las consultas que antes escaneaban tablas remotas enteras vuelven a ejecutarse en el origen, y el volumen de datos que atraviesa la red cae drásticamente. Por lo general, los clientes comprueban que pueden aplazar la incorporación de workers de Trino, porque el clúster ya no hace un trabajo que debería haber hecho la base de datos de origen.

Tecnologías

StarburstTrinoApache HivePostgreSQL

¿Necesita asesoramiento de arquitectura para Starburst?

Los ingenieros sénior de Starburst de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.