Voltar para todos os casos de uso

CorreçãoServiços financeiros / pagamentos

Impeça que uma única consulta ruim derrube o cluster Trino inteiro

Processadora global de pagamentos

Como acabamos com as quedas de workers causadas por joins sem limite, falta de configuração de spill e limites de memória que não correspondem à concorrência que o cluster de fato recebe.

Visão geral

Um único join sem restrições no Trino pode esgotar o heap de um worker e derrubar nós dos quais dezenas de outras consultas dependem. A AceMQ corrige a instabilidade imediata e depois implanta os controles de recursos que impedem que a consulta de um analista vire uma queda para todos.

Desafio

O modo de falha do Trino sob pressão de memória é abrupto. Um cross join com um predicado ruim, um broadcast join em que o lado de build era muito maior do que as estatísticas sugeriam ou um ORDER BY sobre uma tabela fato sem filtro levam o heap do worker além do limite e matam a JVM. Sem resource groups, não há nada entre uma consulta e o cluster inteiro, e as novas tentativas tornam a próxima ainda pior.

Ambiente

Starburst Enterprise em Kubernetes ou VMs, atendendo cargas analíticas mistas, ad hoc e agendadas.

Abordagem

A AceMQ parte dos logs da JVM e das consultas para identificar os operadores e as consultas responsáveis e depois aplica limites de memória por consulta e por nó, para que a consulta problemática falhe de forma limpa em vez de matar o worker. O spill para disco é configurado para os joins e ordenações que legitimamente excedem a memória, e os resource groups dividem a capacidade para que o trabalho agendado fique protegido da exploração ad hoc.

Solução

  1. Análise do heap da JVM, dos logs de GC e dos eventos de consulta para atribuir as quedas a operadores e formatos de consulta específicos
  2. Ajuste de query.max-memory, query.max-memory-per-node e memory.heap-headroom de acordo com a concorrência real
  3. Configuração de spill para disco, com storage local adequado, para joins, agregações e ordenações que legitimamente excedem a memória
  4. Definição de resource groups que separam pipelines agendados, ferramentas de BI e consultas ad hoc de analistas, com limites rígidos de concorrência
  5. Revisão da distribuição e da reordenação de joins, incluindo a correção do limite de broadcast onde as estatísticas estão enganando o otimizador
  6. Revisão do dimensionamento do coordinator e do perfil dos worker nodes, com graceful shutdown configurado para clusters com autoscaling

Resultado obtido

As quedas de workers param, e as consultas que excedem a sua cota falham com um erro de recurso claro, em vez de derrubar os nós vizinhos junto. Os pipelines agendados terminam de forma previsível, porque a carga ad hoc não consegue mais consumir o cluster inteiro.

Tecnologias

StarburstTrinoKubernetesDelta Lake

Enfrentando um problema de produção com Starburst?

Os engenheiros Starburst sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.