Visão geral
O valor do Starburst depende de os conectores fazerem o trabalho na origem. Quando o pushdown falha sem aviso, o Trino compensa transmitindo tabelas inteiras pela rede e filtrando-as na memória dos workers, que é a forma mais lenta possível de responder à consulta. A AceMQ identifica onde o pushdown está a falhar e corrige as condições que o fazem falhar.
Desafio
As falhas de pushdown são silenciosas. Uma consulta que deveria enviar um pedido filtrado e agregado ao Snowflake ou ao PostgreSQL acaba por emitir uma leitura completa da tabela, porque um CAST na coluna do predicado anulou a reescrita do conector, ou uma função não tem equivalente na origem, ou os tipos das chaves de join diferem entre catálogos. As equipas veem consultas lentas e acrescentam workers, o que aumenta o custo sem tocar no verdadeiro problema.
Ambiente
Starburst Enterprise ou Galaxy a federar origens relacionais, armazenamento de objetos e conectores de data warehouse em ambientes on-premises e na cloud.
Abordagem
A AceMQ analisa o output de EXPLAIN e EXPLAIN ANALYZE das consultas recorrentes mais lentas para ver exatamente que operadores o conector aceitou e quais ficaram no Trino. Cada pushdown bloqueado é rastreado até à sua causa — incompatibilidade de tipos, função não suportada, estatísticas em falta — e corrigido ao nível da consulta, da vista ou da configuração do conector. A otimização baseada em custos recebe então as estatísticas de que precisa para escolher ordens de join sensatas.
Solução
- Revisão com EXPLAIN ANALYZE das consultas recorrentes mais lentas, para identificar que predicados, agregações e joins não foram empurrados para a origem
- Alinhamento de tipos entre catálogos, para que as chaves de join e as colunas de filtro deixem de forçar casts que anulam as reescritas do conector
- Configuração ao nível do conector para pushdown de predicados, agregações, joins e TopN em cada sistema de origem
- Recolha de estatísticas das tabelas e agendamento do ANALYZE, para que o otimizador baseado em custos escolha a ordem de join e a distribuição certas
- Configuração de dynamic filtering para joins em esquema em estrela entre origens federadas
- Desenho de vistas materializadas e do serviço de cache para o pequeno número de joins entre origens que genuinamente não podem ser empurrados para a origem
Resultado final
As consultas que antes liam tabelas remotas inteiras voltam a ser executadas na origem, e o volume de dados transferido pela rede cai acentuadamente. Em geral, os clientes concluem que podem adiar a adição de workers Trino, porque o cluster deixou de fazer o trabalho que a base de dados de origem devia ter feito.