Retour à tous les cas d'usage

ConseilMultisectoriel

Déléguer le travail à la source plutôt que de rapatrier la source dans Trino

Opérateur logistique international

Faire exécuter les prédicats, les agrégations et les jointures au niveau du connecteur source au lieu de rapatrier des tables entières dans les workers Trino.

Présentation

La valeur de Starburst repose sur des connecteurs qui travaillent à la source. Lorsque le pushdown échoue sans bruit, Trino compense en faisant transiter des tables entières sur le réseau et en les filtrant dans la mémoire des workers, ce qui est la façon la plus lente possible de répondre à la requête. AceMQ identifie où le pushdown se casse et corrige les conditions qui le font échouer.

Défi

Les échecs de pushdown sont silencieux. Une requête qui devrait envoyer à Snowflake ou PostgreSQL une demande filtrée et agrégée lance à la place un full scan de la table, parce qu'un CAST sur la colonne du prédicat a mis en échec la réécriture du connecteur, qu'une fonction n'a pas d'équivalent côté source ou que les types des clés de jointure diffèrent d'un catalogue à l'autre. Les équipes constatent des requêtes lentes et ajoutent des workers, ce qui augmente les coûts sans toucher au vrai problème.

Environnement

Starburst Enterprise ou Galaxy fédérant des sources relationnelles, du stockage objet et des connecteurs vers des entrepôts de données, on-premise et dans le cloud.

Approche

AceMQ analyse la sortie d'EXPLAIN et d'EXPLAIN ANALYZE pour les requêtes récurrentes les plus lentes afin de voir exactement quels opérateurs le connecteur a acceptés et lesquels sont restés dans Trino. Chaque pushdown bloqué est rattaché à sa cause (incompatibilité de types, fonction non prise en charge, statistiques manquantes) puis corrigé au niveau de la requête, de la vue ou de la configuration du connecteur. L'optimiseur basé sur les coûts reçoit ensuite les statistiques dont il a besoin pour choisir des ordres de jointure cohérents.

Solution

  1. Revue EXPLAIN ANALYZE des requêtes récurrentes les plus lentes pour identifier les prédicats, agrégations et jointures dont le pushdown a échoué
  2. Alignement des types entre catalogues pour que les clés de jointure et les colonnes de filtre cessent d'imposer des conversions qui mettent en échec les réécritures du connecteur
  3. Configuration au niveau du connecteur du pushdown des prédicats, des agrégations, des jointures et des TopN pour chaque système source
  4. Collecte des statistiques de tables et planification des ANALYZE pour que l'optimiseur basé sur les coûts choisisse le bon ordre de jointure et la bonne distribution
  5. Configuration du filtrage dynamique pour les jointures en schéma en étoile entre sources fédérées
  6. Conception de vues matérialisées et du service de cache pour le petit nombre de jointures inter-sources qui ne peuvent réellement pas être déléguées à la source

Résultat obtenu

Les requêtes qui scannaient auparavant des tables distantes entières s'exécutent de nouveau côté source, et le volume de données transitant sur le réseau chute fortement. Les clients constatent généralement qu'ils peuvent reporter l'ajout de workers Trino, car le cluster n'effectue plus un travail qui incombait à la base source.

Technologies

StarburstTrinoApache HivePostgreSQL

Besoin de conseils en architecture Starburst ?

Les ingénieurs Starburst seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.