Descripción general
Un solo join sin restricciones en Trino puede agotar el heap de los workers y tumbar nodos de los que dependen decenas de otras consultas. AceMQ remedia la inestabilidad inmediata y después implementa los controles de recursos que impiden que la consulta de un analista se convierta en la caída de todos.
Desafío
Bajo presión de memoria, Trino falla de forma abrupta. Un cross join con un predicado incorrecto, un broadcast join cuyo lado de construcción resultó mucho más grande de lo que indicaban las estadísticas o un ORDER BY sobre una tabla de hechos sin filtrar llevan el heap del worker más allá de su límite y matan la JVM. Sin resource groups, no hay nada entre una consulta y el clúster completo, y los reintentos empeoran el siguiente intento.
Entorno
Starburst Enterprise en Kubernetes o en máquinas virtuales, con cargas analíticas mixtas, ad hoc y programadas.
Enfoque
AceMQ parte de los logs de la JVM y de las consultas para identificar los operadores y las consultas responsables, y después aplica límites de memoria por consulta y por nodo para que la consulta problemática falle de forma limpia en lugar de matar al worker. El spill a disco se configura para los joins y ordenamientos que legítimamente superan la memoria, y los resource groups reparten la capacidad para que el trabajo programado quede aislado de la exploración ad hoc.
Solución
- Análisis del heap de la JVM, los logs de GC y los eventos de consultas para atribuir las caídas a operadores y tipos de consulta específicos
- Ajuste de query.max-memory, query.max-memory-per-node y memory.heap-headroom según la concurrencia real
- Configuración de spill a disco con almacenamiento local adecuado para joins, agregaciones y ordenamientos que legítimamente superan la memoria
- Definición de resource groups que separan los pipelines programados, las herramientas de BI y las consultas ad hoc de los analistas, con límites estrictos de concurrencia
- Revisión de la distribución y el reordenamiento de joins, incluida la corrección del umbral de broadcast donde las estadísticas engañan al optimizador
- Revisión del dimensionamiento del coordinador y del perfil de los nodos worker, con apagado ordenado (graceful shutdown) configurado para clústeres con autoescalado
Resultado final
Las caídas de workers se detienen, y las consultas que exceden su asignación fallan con un error de recursos claro en lugar de arrastrar a los demás nodos. Los pipelines programados terminan de forma predecible porque la carga ad hoc ya no puede consumir todo el clúster.