Descripción general
Un único join sin restricciones en Trino puede agotar el heap de los workers y tumbar nodos de los que dependen decenas de consultas más. AceMQ remedia la inestabilidad inmediata y después implanta los controles de recursos que impiden que la consulta de un analista se convierta en una caída para todos.
Reto
En Trino, el fallo bajo presión de memoria es abrupto. Un cross join con un predicado erróneo, un broadcast join cuyo lado de construcción resulta ser mucho mayor de lo que sugerían las estadísticas o un ORDER BY sobre una tabla de hechos sin filtrar llevan el heap de los workers más allá de su límite y matan la JVM. Sin resource groups, no hay nada entre una consulta y el clúster entero, y los reintentos empeoran el siguiente intento.
Entorno
Starburst Enterprise en Kubernetes o en máquinas virtuales, con cargas analíticas mixtas de consultas ad hoc y programadas.
Enfoque
AceMQ parte de los logs de la JVM y de las consultas para identificar los operadores y las consultas concretas responsables y, a continuación, aplica límites de memoria por consulta y por nodo para que la consulta problemática falle de forma limpia en lugar de matar al worker. El spill a disco se configura para los joins y las ordenaciones que superan la memoria de forma legítima, y los resource groups reparten la capacidad para que el trabajo programado quede aislado de la exploración ad hoc.
Solución
- Análisis del heap de la JVM, de los logs de GC y de los eventos de consulta para atribuir las caídas a operadores y tipos de consulta concretos
- Ajuste de query.max-memory, query.max-memory-per-node y memory.heap-headroom según la concurrencia real
- Configuración del spill a disco, con el almacenamiento local adecuado, para joins, agregaciones y ordenaciones que superan la memoria de forma legítima
- Definición de resource groups que separan los pipelines programados, las herramientas de BI y las consultas ad hoc de los analistas, con límites estrictos de concurrencia
- Revisión de la distribución y el reordenamiento de los joins, incluida la corrección del umbral de broadcast allí donde las estadísticas inducen a error al optimizador
- Revisión del dimensionamiento del coordinador y del perfil de los nodos worker, con apagado ordenado configurado para los clústeres con autoescalado
Resultado final
Las caídas de los workers cesan, y las consultas que superan su asignación fallan con un error de recursos claro en lugar de arrastrar consigo a los demás nodos. Los pipelines programados terminan de forma predecible porque la carga ad hoc ya no puede consumir el clúster entero.