Visão geral
Um único join sem restrições no Trino pode esgotar o heap dos workers e derrubar nós de que dependem dezenas de outras queries. A AceMQ corrige a instabilidade imediata e implementa depois os controlos de recursos que impedem que a query de um analista se transforme numa indisponibilidade para todos.
Desafio
Sob pressão de memória, o Trino falha de forma abrupta. Um cross join com um predicado errado, um broadcast join em que o lado de construção acabou por ser muito maior do que as estatísticas sugeriam, ou um ORDER BY sobre uma tabela de factos sem filtro empurram o heap do worker para lá do limite e matam a JVM. Sem resource groups, nada se interpõe entre uma query e todo o cluster, e as novas tentativas pioram a seguinte.
Ambiente
Starburst Enterprise em Kubernetes ou VMs, a servir cargas analíticas mistas, ad hoc e agendadas.
Abordagem
A AceMQ parte dos logs da JVM e das queries para identificar os operadores e as queries responsáveis e aplica depois limites de memória por query e por nó, para que a query problemática falhe de forma limpa em vez de matar o worker. O spill para disco é configurado para os joins e ordenações que legitimamente excedem a memória, e os resource groups repartem a capacidade para que o trabalho agendado fique isolado da exploração ad hoc.
Solução
- Análise do heap da JVM, dos logs de GC e dos eventos de query para atribuir as falhas a operadores e formas de query concretos
- Afinação de query.max-memory, query.max-memory-per-node e memory.heap-headroom em função da concorrência real
- Configuração de spill para disco com armazenamento local adequado para joins, agregações e ordenações que legitimamente excedem a memória
- Definição de resource groups que separam pipelines agendados, ferramentas de BI e queries ad hoc de analistas, com limites rígidos de concorrência
- Revisão da distribuição e da reordenação dos joins, incluindo a correção do limiar de broadcast quando as estatísticas induzem o otimizador em erro
- Revisão do dimensionamento do coordinator e do perfil dos nós worker, com graceful shutdown configurado para clusters com autoscaling
Resultado final
As falhas dos workers param, e as queries que excedem a sua quota falham com um erro de recursos claro, em vez de arrastarem os restantes nós. Os pipelines agendados terminam de forma previsível porque a carga ad hoc já não consegue consumir todo o cluster.