Voltar para todos os casos de uso

ConsultoriaMultissetorial

Leve o trabalho até a origem, em vez de arrastar a origem para dentro do Trino

Operadora global de logística

Fazer predicados, agregações e joins rodarem no conector de origem, em vez de trazer tabelas inteiras para os workers do Trino.

Visão geral

O valor do Starburst depende de os conectores fazerem o trabalho na origem. Quando o pushdown falha sem aviso, o Trino compensa transmitindo tabelas inteiras pela rede e filtrando-as na memória dos workers, que é a forma mais lenta possível de responder à consulta. A AceMQ encontra onde o pushdown está falhando e corrige as condições que o fazem falhar.

Desafio

As falhas de pushdown são silenciosas. Uma consulta que deveria enviar uma requisição filtrada e agregada ao Snowflake ou ao PostgreSQL acaba disparando um full table scan porque um CAST na coluna do predicado impediu a reescrita pelo conector, porque uma função não tem equivalente na origem ou porque os tipos da chave de join diferem entre os catálogos. As equipes veem consultas lentas e adicionam workers, o que aumenta o custo sem tocar no problema real.

Ambiente

Starburst Enterprise ou Galaxy federando fontes relacionais, object storage e conectores de data warehouse entre on-premises e nuvem.

Abordagem

A AceMQ lê a saída de EXPLAIN e EXPLAIN ANALYZE das consultas recorrentes mais lentas para ver exatamente quais operadores o conector aceitou e quais ficaram no Trino. Cada pushdown bloqueado é rastreado até a sua causa (incompatibilidade de tipos, função não suportada, estatísticas ausentes) e corrigido no nível da consulta, da view ou da configuração do conector. Em seguida, o otimizador baseado em custo recebe as estatísticas de que precisa para escolher ordens de join sensatas.

Solução

  1. Revisão com EXPLAIN ANALYZE das consultas recorrentes mais lentas para identificar quais predicados, agregações e joins não fizeram pushdown
  2. Alinhamento de tipos entre catálogos para que as chaves de join e as colunas de filtro deixem de forçar casts que impedem as reescritas pelos conectores
  3. Configuração no nível do conector para pushdown de predicados, agregações, joins e TopN em cada sistema de origem
  4. Coleta de estatísticas das tabelas e agendamento de ANALYZE para que o otimizador baseado em custo escolha a ordem e a distribuição de join certas
  5. Configuração de dynamic filtering para joins em star schema entre fontes federadas
  6. Desenho de materialized views e do serviço de cache para o pequeno número de joins entre fontes que realmente não conseguem fazer pushdown

Resultado obtido

Consultas que antes varriam tabelas remotas inteiras voltam a ser executadas na origem, e o volume de dados trafegando pela rede cai drasticamente. Os clientes geralmente descobrem que podem adiar a adição de workers do Trino, porque o cluster deixou de fazer um trabalho que o banco de dados de origem deveria ter feito.

Tecnologias

StarburstTrinoApache HivePostgreSQL

Precisa de orientação de arquitetura para Starburst?

Os engenheiros Starburst sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.