Panoramica
Il valore di Starburst dipende dai connettori che svolgono il lavoro alla sorgente. Quando il pushdown fallisce senza segnalarlo, Trino compensa trasferendo intere tabelle in rete e filtrandole nella memoria dei worker: il modo più lento in assoluto per rispondere alla query. AceMQ individua dove il pushdown si interrompe e corregge le condizioni che lo impediscono.
Sfida
I fallimenti del pushdown sono silenziosi. Una query che dovrebbe inviare a Snowflake o PostgreSQL una richiesta già filtrata e aggregata esegue invece una scansione completa della tabella, perché un CAST sulla colonna del predicato ha reso inefficace la riscrittura del connettore, perché una funzione non ha un equivalente nella sorgente o perché i tipi delle chiavi di join differiscono tra i cataloghi. I team vedono query lente e aggiungono worker, aumentando i costi senza intervenire sul problema reale.
Ambiente
Starburst Enterprise o Galaxy con federazione di sorgenti relazionali, object storage e connettori verso data warehouse, tra ambienti on-premise e cloud.
Approccio
AceMQ analizza l'output di EXPLAIN ed EXPLAIN ANALYZE per le query ricorrenti più lente, così da vedere esattamente quali operatori il connettore ha accettato e quali sono rimasti in Trino. Ogni pushdown bloccato viene ricondotto alla sua causa (tipi non corrispondenti, funzioni non supportate, statistiche mancanti) e corretto a livello di query, di vista o di configurazione del connettore. All'ottimizzatore basato sui costi vengono poi fornite le statistiche necessarie per scegliere ordini di join sensati.
Soluzione
- Revisione con EXPLAIN ANALYZE delle query ricorrenti più lente, per individuare quali predicati, aggregazioni e join non sono stati spinti verso la sorgente
- Allineamento dei tipi tra i cataloghi, così che chiavi di join e colonne di filtro non impongano più cast che vanificano le riscritture del connettore
- Configurazione a livello di connettore del pushdown di predicati, aggregazioni, join e TopN per ciascun sistema sorgente
- Raccolta delle statistiche delle tabelle e pianificazione di ANALYZE, così che l'ottimizzatore basato sui costi scelga l'ordine e la distribuzione dei join corretti
- Configurazione del dynamic filtering per i join a stella tra sorgenti federate
- Progettazione di viste materializzate e del servizio di cache per i pochi join tra sorgenti diverse che non possono davvero essere spinti verso la sorgente
Esito
Le query che prima scansionavano intere tabelle remote tornano a essere eseguite alla sorgente e il volume di dati trasferito in rete cala drasticamente. In genere i clienti scoprono di poter rinviare l'aggiunta di worker Trino, perché il cluster non svolge più un lavoro che avrebbe dovuto fare il database sorgente.