Voltar a todos os casos de utilização

ConsultoriaTransversal a vários setores

Empurrar o trabalho para a origem, em vez de arrastar a origem para dentro do Trino

Operador logístico global

Fazer com que predicados, agregações e joins sejam executados no conector de origem, em vez de puxar tabelas inteiras para os workers do Trino.

Visão geral

O valor do Starburst depende de os conectores fazerem o trabalho na origem. Quando o pushdown falha sem aviso, o Trino compensa transmitindo tabelas inteiras pela rede e filtrando-as na memória dos workers, que é a forma mais lenta possível de responder à consulta. A AceMQ identifica onde o pushdown está a falhar e corrige as condições que o fazem falhar.

Desafio

As falhas de pushdown são silenciosas. Uma consulta que deveria enviar um pedido filtrado e agregado ao Snowflake ou ao PostgreSQL acaba por emitir uma leitura completa da tabela, porque um CAST na coluna do predicado anulou a reescrita do conector, ou uma função não tem equivalente na origem, ou os tipos das chaves de join diferem entre catálogos. As equipas veem consultas lentas e acrescentam workers, o que aumenta o custo sem tocar no verdadeiro problema.

Ambiente

Starburst Enterprise ou Galaxy a federar origens relacionais, armazenamento de objetos e conectores de data warehouse em ambientes on-premises e na cloud.

Abordagem

A AceMQ analisa o output de EXPLAIN e EXPLAIN ANALYZE das consultas recorrentes mais lentas para ver exatamente que operadores o conector aceitou e quais ficaram no Trino. Cada pushdown bloqueado é rastreado até à sua causa — incompatibilidade de tipos, função não suportada, estatísticas em falta — e corrigido ao nível da consulta, da vista ou da configuração do conector. A otimização baseada em custos recebe então as estatísticas de que precisa para escolher ordens de join sensatas.

Solução

  1. Revisão com EXPLAIN ANALYZE das consultas recorrentes mais lentas, para identificar que predicados, agregações e joins não foram empurrados para a origem
  2. Alinhamento de tipos entre catálogos, para que as chaves de join e as colunas de filtro deixem de forçar casts que anulam as reescritas do conector
  3. Configuração ao nível do conector para pushdown de predicados, agregações, joins e TopN em cada sistema de origem
  4. Recolha de estatísticas das tabelas e agendamento do ANALYZE, para que o otimizador baseado em custos escolha a ordem de join e a distribuição certas
  5. Configuração de dynamic filtering para joins em esquema em estrela entre origens federadas
  6. Desenho de vistas materializadas e do serviço de cache para o pequeno número de joins entre origens que genuinamente não podem ser empurrados para a origem

Resultado final

As consultas que antes liam tabelas remotas inteiras voltam a ser executadas na origem, e o volume de dados transferido pela rede cai acentuadamente. Em geral, os clientes concluem que podem adiar a adição de workers Trino, porque o cluster deixou de fazer o trabalho que a base de dados de origem devia ter feito.

Tecnologias

StarburstTrinoApache HivePostgreSQL

Precisa de orientação de arquitetura Starburst?

Os engenheiros seniores de Starburst da AceMQ já trataram exatamente este tipo de projeto. Quer precise de orientação de arquitetura, de correção prática ou de uma parceria de gestão contínua, estamos prontos para ajudar.