Volver a todos los casos de uso

RemediaciónServicios financieros / Pagos

Evite que una sola consulta defectuosa tumbe todo el clúster de Trino

Procesador global de pagos

Cómo se detuvieron las caídas de workers provocadas por joins sin límites, la falta de configuración de spill y unos límites de memoria que no se corresponden con la concurrencia real del clúster.

Descripción general

Un único join sin restricciones en Trino puede agotar el heap de los workers y tumbar nodos de los que dependen decenas de consultas más. AceMQ remedia la inestabilidad inmediata y después implanta los controles de recursos que impiden que la consulta de un analista se convierta en una caída para todos.

Reto

En Trino, el fallo bajo presión de memoria es abrupto. Un cross join con un predicado erróneo, un broadcast join cuyo lado de construcción resulta ser mucho mayor de lo que sugerían las estadísticas o un ORDER BY sobre una tabla de hechos sin filtrar llevan el heap de los workers más allá de su límite y matan la JVM. Sin resource groups, no hay nada entre una consulta y el clúster entero, y los reintentos empeoran el siguiente intento.

Entorno

Starburst Enterprise en Kubernetes o en máquinas virtuales, con cargas analíticas mixtas de consultas ad hoc y programadas.

Enfoque

AceMQ parte de los logs de la JVM y de las consultas para identificar los operadores y las consultas concretas responsables y, a continuación, aplica límites de memoria por consulta y por nodo para que la consulta problemática falle de forma limpia en lugar de matar al worker. El spill a disco se configura para los joins y las ordenaciones que superan la memoria de forma legítima, y los resource groups reparten la capacidad para que el trabajo programado quede aislado de la exploración ad hoc.

Solución

  1. Análisis del heap de la JVM, de los logs de GC y de los eventos de consulta para atribuir las caídas a operadores y tipos de consulta concretos
  2. Ajuste de query.max-memory, query.max-memory-per-node y memory.heap-headroom según la concurrencia real
  3. Configuración del spill a disco, con el almacenamiento local adecuado, para joins, agregaciones y ordenaciones que superan la memoria de forma legítima
  4. Definición de resource groups que separan los pipelines programados, las herramientas de BI y las consultas ad hoc de los analistas, con límites estrictos de concurrencia
  5. Revisión de la distribución y el reordenamiento de los joins, incluida la corrección del umbral de broadcast allí donde las estadísticas inducen a error al optimizador
  6. Revisión del dimensionamiento del coordinador y del perfil de los nodos worker, con apagado ordenado configurado para los clústeres con autoescalado

Resultado final

Las caídas de los workers cesan, y las consultas que superan su asignación fallan con un error de recursos claro en lugar de arrastrar consigo a los demás nodos. Los pipelines programados terminan de forma predecible porque la carga ad hoc ya no puede consumir el clúster entero.

Tecnologías

StarburstTrinoKubernetesDelta Lake

¿Se enfrenta a un problema de Starburst en producción?

Los ingenieros sénior de Starburst de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.