Przegląd
Wartość Starburst zależy od tego, czy konektory wykonują pracę po stronie źródła. Gdy pushdown po cichu zawodzi, Trino nadrabia to, przesyłając przez sieć całe tabele i filtrując je w pamięci workerów — a to najwolniejszy możliwy sposób odpowiedzi na zapytanie. AceMQ znajduje miejsca, w których pushdown przestaje działać, i usuwa przyczyny, które go blokują.
Wyzwanie
Awarie pushdownu są ciche. Zapytanie, które powinno wysłać do Snowflake lub PostgreSQL przefiltrowane i zagregowane żądanie, zamiast tego wykonuje pełny skan tabeli, bo CAST na kolumnie predykatu uniemożliwił konektorowi przepisanie zapytania, funkcja nie ma odpowiednika po stronie źródła albo typy kluczy joinu różnią się między katalogami. Zespoły widzą wolne zapytania i dokładają workery, co zwiększa koszty, nie dotykając faktycznego problemu.
Środowisko
Starburst Enterprise lub Galaxy federujący źródła relacyjne, magazyny obiektowe i konektory hurtowni danych w środowiskach lokalnych i chmurowych.
Podejście
AceMQ analizuje wyniki EXPLAIN i EXPLAIN ANALYZE dla najwolniejszych powtarzalnych zapytań, aby dokładnie zobaczyć, które operatory konektor przyjął, a które zostały w Trino. Każdy zablokowany pushdown jest śledzony aż do przyczyny — niezgodności typów, nieobsługiwanej funkcji, brakujących statystyk — i naprawiany na poziomie zapytania, widoku lub konfiguracji konektora. Następnie optymalizator kosztowy otrzymuje statystyki potrzebne do wyboru rozsądnej kolejności joinów.
Rozwiązanie
- Przegląd EXPLAIN ANALYZE najwolniejszych powtarzalnych zapytań w celu ustalenia, które predykaty, agregacje i joiny nie zostały zepchnięte do źródła
- Ujednolicenie typów między katalogami, aby klucze joinów i kolumny filtrów przestały wymuszać rzutowania blokujące przepisywanie zapytań przez konektory
- Konfiguracja pushdownu predykatów, agregacji, joinów i TopN na poziomie konektora dla każdego systemu źródłowego
- Zbieranie statystyk tabel i harmonogram ANALYZE, aby optymalizator kosztowy wybierał właściwą kolejność i dystrybucję joinów
- Konfiguracja filtrowania dynamicznego dla joinów w schemacie gwiazdy między źródłami federacyjnymi
- Projekt widoków zmaterializowanych i usługi cache dla nielicznych joinów między źródłami, których naprawdę nie da się zepchnąć do źródła
Efekt
Zapytania, które wcześniej skanowały całe zdalne tabele, znów wykonują się po stronie źródła, a wolumen danych przesyłanych przez sieć gwałtownie spada. Klienci zwykle stwierdzają, że mogą odłożyć dokładanie workerów Trino, bo klaster nie wykonuje już pracy, którą powinna była wykonać źródłowa baza danych.