Visão geral
Um único join sem restrições no Trino pode esgotar o heap de um worker e derrubar nós dos quais dezenas de outras consultas dependem. A AceMQ corrige a instabilidade imediata e depois implanta os controles de recursos que impedem que a consulta de um analista vire uma queda para todos.
Desafio
O modo de falha do Trino sob pressão de memória é abrupto. Um cross join com um predicado ruim, um broadcast join em que o lado de build era muito maior do que as estatísticas sugeriam ou um ORDER BY sobre uma tabela fato sem filtro levam o heap do worker além do limite e matam a JVM. Sem resource groups, não há nada entre uma consulta e o cluster inteiro, e as novas tentativas tornam a próxima ainda pior.
Ambiente
Starburst Enterprise em Kubernetes ou VMs, atendendo cargas analíticas mistas, ad hoc e agendadas.
Abordagem
A AceMQ parte dos logs da JVM e das consultas para identificar os operadores e as consultas responsáveis e depois aplica limites de memória por consulta e por nó, para que a consulta problemática falhe de forma limpa em vez de matar o worker. O spill para disco é configurado para os joins e ordenações que legitimamente excedem a memória, e os resource groups dividem a capacidade para que o trabalho agendado fique protegido da exploração ad hoc.
Solução
- Análise do heap da JVM, dos logs de GC e dos eventos de consulta para atribuir as quedas a operadores e formatos de consulta específicos
- Ajuste de query.max-memory, query.max-memory-per-node e memory.heap-headroom de acordo com a concorrência real
- Configuração de spill para disco, com storage local adequado, para joins, agregações e ordenações que legitimamente excedem a memória
- Definição de resource groups que separam pipelines agendados, ferramentas de BI e consultas ad hoc de analistas, com limites rígidos de concorrência
- Revisão da distribuição e da reordenação de joins, incluindo a correção do limite de broadcast onde as estatísticas estão enganando o otimizador
- Revisão do dimensionamento do coordinator e do perfil dos worker nodes, com graceful shutdown configurado para clusters com autoscaling
Resultado obtido
As quedas de workers param, e as consultas que excedem a sua cota falham com um erro de recurso claro, em vez de derrubar os nós vizinhos junto. Os pipelines agendados terminam de forma previsível, porque a carga ad hoc não consegue mais consumir o cluster inteiro.