Powrót do wszystkich studiów przypadków

DoradztwoWiele branż

Przenieść pracę do źródła, zamiast ściągać źródło do Trino

Globalny operator logistyczny

Wykonywanie predykatów, agregacji i joinów w konektorze źródłowym zamiast ściągania całych tabel do workerów Trino.

Przegląd

Wartość Starburst zależy od tego, czy konektory wykonują pracę po stronie źródła. Gdy pushdown po cichu zawodzi, Trino nadrabia to, przesyłając przez sieć całe tabele i filtrując je w pamięci workerów — a to najwolniejszy możliwy sposób odpowiedzi na zapytanie. AceMQ znajduje miejsca, w których pushdown przestaje działać, i usuwa przyczyny, które go blokują.

Wyzwanie

Awarie pushdownu są ciche. Zapytanie, które powinno wysłać do Snowflake lub PostgreSQL przefiltrowane i zagregowane żądanie, zamiast tego wykonuje pełny skan tabeli, bo CAST na kolumnie predykatu uniemożliwił konektorowi przepisanie zapytania, funkcja nie ma odpowiednika po stronie źródła albo typy kluczy joinu różnią się między katalogami. Zespoły widzą wolne zapytania i dokładają workery, co zwiększa koszty, nie dotykając faktycznego problemu.

Środowisko

Starburst Enterprise lub Galaxy federujący źródła relacyjne, magazyny obiektowe i konektory hurtowni danych w środowiskach lokalnych i chmurowych.

Podejście

AceMQ analizuje wyniki EXPLAIN i EXPLAIN ANALYZE dla najwolniejszych powtarzalnych zapytań, aby dokładnie zobaczyć, które operatory konektor przyjął, a które zostały w Trino. Każdy zablokowany pushdown jest śledzony aż do przyczyny — niezgodności typów, nieobsługiwanej funkcji, brakujących statystyk — i naprawiany na poziomie zapytania, widoku lub konfiguracji konektora. Następnie optymalizator kosztowy otrzymuje statystyki potrzebne do wyboru rozsądnej kolejności joinów.

Rozwiązanie

  1. Przegląd EXPLAIN ANALYZE najwolniejszych powtarzalnych zapytań w celu ustalenia, które predykaty, agregacje i joiny nie zostały zepchnięte do źródła
  2. Ujednolicenie typów między katalogami, aby klucze joinów i kolumny filtrów przestały wymuszać rzutowania blokujące przepisywanie zapytań przez konektory
  3. Konfiguracja pushdownu predykatów, agregacji, joinów i TopN na poziomie konektora dla każdego systemu źródłowego
  4. Zbieranie statystyk tabel i harmonogram ANALYZE, aby optymalizator kosztowy wybierał właściwą kolejność i dystrybucję joinów
  5. Konfiguracja filtrowania dynamicznego dla joinów w schemacie gwiazdy między źródłami federacyjnymi
  6. Projekt widoków zmaterializowanych i usługi cache dla nielicznych joinów między źródłami, których naprawdę nie da się zepchnąć do źródła

Efekt

Zapytania, które wcześniej skanowały całe zdalne tabele, znów wykonują się po stronie źródła, a wolumen danych przesyłanych przez sieć gwałtownie spada. Klienci zwykle stwierdzają, że mogą odłożyć dokładanie workerów Trino, bo klaster nie wykonuje już pracy, którą powinna była wykonać źródłowa baza danych.

Technologie

StarburstTrinoApache HivePostgreSQL

Potrzebują Państwo doradztwa w zakresie architektury Starburst?

Starsi inżynierowie Starburst w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.