Visão geral
O valor do Starburst depende de os conectores fazerem o trabalho na origem. Quando o pushdown falha sem aviso, o Trino compensa transmitindo tabelas inteiras pela rede e filtrando-as na memória dos workers, que é a forma mais lenta possível de responder à consulta. A AceMQ encontra onde o pushdown está falhando e corrige as condições que o fazem falhar.
Desafio
As falhas de pushdown são silenciosas. Uma consulta que deveria enviar uma requisição filtrada e agregada ao Snowflake ou ao PostgreSQL acaba disparando um full table scan porque um CAST na coluna do predicado impediu a reescrita pelo conector, porque uma função não tem equivalente na origem ou porque os tipos da chave de join diferem entre os catálogos. As equipes veem consultas lentas e adicionam workers, o que aumenta o custo sem tocar no problema real.
Ambiente
Starburst Enterprise ou Galaxy federando fontes relacionais, object storage e conectores de data warehouse entre on-premises e nuvem.
Abordagem
A AceMQ lê a saída de EXPLAIN e EXPLAIN ANALYZE das consultas recorrentes mais lentas para ver exatamente quais operadores o conector aceitou e quais ficaram no Trino. Cada pushdown bloqueado é rastreado até a sua causa (incompatibilidade de tipos, função não suportada, estatísticas ausentes) e corrigido no nível da consulta, da view ou da configuração do conector. Em seguida, o otimizador baseado em custo recebe as estatísticas de que precisa para escolher ordens de join sensatas.
Solução
- Revisão com EXPLAIN ANALYZE das consultas recorrentes mais lentas para identificar quais predicados, agregações e joins não fizeram pushdown
- Alinhamento de tipos entre catálogos para que as chaves de join e as colunas de filtro deixem de forçar casts que impedem as reescritas pelos conectores
- Configuração no nível do conector para pushdown de predicados, agregações, joins e TopN em cada sistema de origem
- Coleta de estatísticas das tabelas e agendamento de ANALYZE para que o otimizador baseado em custo escolha a ordem e a distribuição de join certas
- Configuração de dynamic filtering para joins em star schema entre fontes federadas
- Desenho de materialized views e do serviço de cache para o pequeno número de joins entre fontes que realmente não conseguem fazer pushdown
Resultado obtido
Consultas que antes varriam tabelas remotas inteiras voltam a ser executadas na origem, e o volume de dados trafegando pela rede cai drasticamente. Os clientes geralmente descobrem que podem adiar a adição de workers do Trino, porque o cluster deixou de fazer um trabalho que o banco de dados de origem deveria ter feito.