Voltar a todos os casos de utilização

CorreçãoServiços financeiros / Pagamentos

Impedir que uma única query mal feita derrube todo o cluster Trino

Processador de pagamentos global

Pôr fim às falhas dos workers causadas por joins sem limites, configuração de spill em falta e limites de memória desajustados da concorrência que o cluster realmente enfrenta.

Visão geral

Um único join sem restrições no Trino pode esgotar o heap dos workers e derrubar nós de que dependem dezenas de outras queries. A AceMQ corrige a instabilidade imediata e implementa depois os controlos de recursos que impedem que a query de um analista se transforme numa indisponibilidade para todos.

Desafio

Sob pressão de memória, o Trino falha de forma abrupta. Um cross join com um predicado errado, um broadcast join em que o lado de construção acabou por ser muito maior do que as estatísticas sugeriam, ou um ORDER BY sobre uma tabela de factos sem filtro empurram o heap do worker para lá do limite e matam a JVM. Sem resource groups, nada se interpõe entre uma query e todo o cluster, e as novas tentativas pioram a seguinte.

Ambiente

Starburst Enterprise em Kubernetes ou VMs, a servir cargas analíticas mistas, ad hoc e agendadas.

Abordagem

A AceMQ parte dos logs da JVM e das queries para identificar os operadores e as queries responsáveis e aplica depois limites de memória por query e por nó, para que a query problemática falhe de forma limpa em vez de matar o worker. O spill para disco é configurado para os joins e ordenações que legitimamente excedem a memória, e os resource groups repartem a capacidade para que o trabalho agendado fique isolado da exploração ad hoc.

Solução

  1. Análise do heap da JVM, dos logs de GC e dos eventos de query para atribuir as falhas a operadores e formas de query concretos
  2. Afinação de query.max-memory, query.max-memory-per-node e memory.heap-headroom em função da concorrência real
  3. Configuração de spill para disco com armazenamento local adequado para joins, agregações e ordenações que legitimamente excedem a memória
  4. Definição de resource groups que separam pipelines agendados, ferramentas de BI e queries ad hoc de analistas, com limites rígidos de concorrência
  5. Revisão da distribuição e da reordenação dos joins, incluindo a correção do limiar de broadcast quando as estatísticas induzem o otimizador em erro
  6. Revisão do dimensionamento do coordinator e do perfil dos nós worker, com graceful shutdown configurado para clusters com autoscaling

Resultado final

As falhas dos workers param, e as queries que excedem a sua quota falham com um erro de recursos claro, em vez de arrastarem os restantes nós. Os pipelines agendados terminam de forma previsível porque a carga ad hoc já não consegue consumir todo o cluster.

Tecnologias

StarburstTrinoKubernetesDelta Lake

Tem um problema de produção com Starburst?

Os engenheiros seniores de Starburst da AceMQ já trataram exatamente este tipo de projeto. Quer precise de orientação de arquitetura, de correção prática ou de uma parceria de gestão contínua, estamos prontos para ajudar.