Überblick
Der Nutzen von Starburst steht und fällt damit, dass die Connectors die Arbeit an der Quelle erledigen. Scheitert der Pushdown unbemerkt, gleicht Trino das aus, indem es ganze Tabellen über das Netzwerk streamt und im Arbeitsspeicher der Worker filtert – der langsamste denkbare Weg, eine Query zu beantworten. AceMQ findet heraus, wo der Pushdown bricht, und beseitigt die Ursachen dafür.
Herausforderung
Pushdown-Fehler sind leise. Eine Query, die eine gefilterte, aggregierte Anfrage an Snowflake oder PostgreSQL schicken sollte, löst stattdessen einen Full Table Scan aus – weil ein CAST auf der Prädikatspalte das Rewrite des Connectors aushebelt, eine Funktion kein Gegenstück in der Quelle hat oder die Typen der Join Keys sich zwischen Katalogen unterscheiden. Teams sehen langsame Queries und fügen Worker hinzu. Das erhöht die Kosten, ohne das eigentliche Problem zu berühren.
Umgebung
Starburst Enterprise oder Galaxy, das relationale Quellen, Object Storage und Warehouse-Connectors über On-Premises und Cloud hinweg föderiert.
Vorgehen
AceMQ wertet die Ausgaben von EXPLAIN und EXPLAIN ANALYZE für die langsamsten wiederkehrenden Queries aus, um genau zu sehen, welche Operatoren der Connector übernommen hat und welche in Trino geblieben sind. Jeder blockierte Pushdown wird auf seine Ursache zurückgeführt – Typkonflikt, nicht unterstützte Funktion, fehlende Statistiken – und auf Ebene der Query, der View oder der Connector-Konfiguration behoben. Anschließend erhält die kostenbasierte Optimierung die Statistiken, die sie für sinnvolle Join-Reihenfolgen braucht.
Lösung
- Review der langsamsten wiederkehrenden Queries mit EXPLAIN ANALYZE, um festzustellen, welche Prädikate, Aggregationen und Joins nicht per Pushdown ausgeführt wurden
- Angleichung der Datentypen über Kataloge hinweg, damit Join Keys und Filterspalten keine Casts mehr erzwingen, die das Rewrite der Connectors aushebeln
- Konfiguration auf Connector-Ebene für Predicate-, Aggregate-, Join- und TopN-Pushdown je Quellsystem
- Erfassung von Tabellenstatistiken und Planung von ANALYZE-Läufen, damit der kostenbasierte Optimizer die richtige Join-Reihenfolge und Verteilung wählt
- Konfiguration von Dynamic Filtering für Star-Schema-Joins über föderierte Quellen
- Design von Materialized Views und Cache-Service für die wenigen quellübergreifenden Joins, die sich tatsächlich nicht per Pushdown ausführen lassen
Resultat
Queries, die bisher ganze entfernte Tabellen gescannt haben, werden wieder an der Quelle ausgeführt, und das übers Netzwerk übertragene Datenvolumen sinkt deutlich. Kunden stellen in der Regel fest, dass sie zusätzliche Trino-Worker aufschieben können, weil der Cluster keine Arbeit mehr erledigt, die eigentlich die Quelldatenbank hätte leisten sollen.