Descripción general
El valor de Starburst depende de que los conectores hagan el trabajo en el origen. Cuando el pushdown falla en silencio, Trino lo compensa transmitiendo tablas enteras por la red y filtrándolas en la memoria de los workers, que es la forma más lenta posible de responder la consulta. AceMQ encuentra dónde se rompe el pushdown y corrige las condiciones que lo rompen.
Desafío
Las fallas de pushdown no hacen ruido. Una consulta que debería enviar a Snowflake o PostgreSQL una solicitud filtrada y agregada termina lanzando un escaneo completo de la tabla porque un CAST sobre la columna del predicado anuló la reescritura del conector, porque una función no tiene equivalente en el origen o porque los tipos de la clave de join difieren entre catálogos. Los equipos ven consultas lentas y agregan workers, lo que aumenta el costo sin tocar el problema real.
Entorno
Starburst Enterprise o Galaxy federando orígenes relacionales, almacenamiento de objetos y conectores de warehouse, on-premises y en la nube.
Enfoque
AceMQ lee la salida de EXPLAIN y EXPLAIN ANALYZE de las consultas recurrentes más lentas para ver exactamente qué operadores aceptó el conector y cuáles quedaron en Trino. Cada pushdown bloqueado se rastrea hasta su causa (tipos que no coinciden, función no soportada, estadísticas faltantes) y se corrige a nivel de la consulta, de la vista o de la configuración del conector. Después, se le dan a la optimización basada en costos las estadísticas que necesita para elegir órdenes de join razonables.
Solución
- Revisión con EXPLAIN ANALYZE de las consultas recurrentes más lentas para identificar qué predicados, agregaciones y joins no se lograron empujar al origen
- Alineación de tipos entre catálogos para que las claves de join y las columnas de filtro dejen de forzar casts que anulan las reescrituras del conector
- Configuración a nivel de conector del pushdown de predicados, agregaciones, joins y TopN para cada sistema de origen
- Recolección de estadísticas de tablas y programación de ANALYZE para que el optimizador basado en costos elija el orden de join y la distribución correctos
- Configuración de dynamic filtering para joins de esquema en estrella entre orígenes federados
- Diseño de vistas materializadas y del servicio de caché para los pocos joins entre orígenes que realmente no se pueden empujar al origen
Resultado final
Las consultas que antes escaneaban tablas remotas completas vuelven a ejecutarse en el origen, y el volumen de datos que cruza la red cae de forma marcada. En general, los clientes descubren que pueden postergar la incorporación de workers de Trino porque el clúster ya no hace el trabajo que debería haber hecho la base de datos de origen.