Retour à tous les cas d'usage

RemédiationServices financiers / paiements

Empêcher une seule mauvaise requête de faire tomber tout le cluster Trino

Processeur de paiements international

Mettre fin aux crashs de workers causés par des jointures non bornées, l'absence de configuration du spill et des limites mémoire inadaptées à la concurrence réelle du cluster.

Présentation

Dans Trino, une seule jointure non contrainte peut épuiser le heap des workers et faire tomber des nœuds dont dépendent des dizaines d'autres requêtes. AceMQ corrige l'instabilité immédiate, puis met en place les contrôles de ressources qui empêchent la requête d'un analyste de devenir la panne de tout le monde.

Défi

Sous pression mémoire, Trino tombe brutalement. Un cross join avec un mauvais prédicat, un broadcast join dont le côté build s'avère bien plus volumineux que ne le laissaient croire les statistiques, ou un ORDER BY sur une table de faits non filtrée suffit à pousser le heap d'un worker au-delà de sa limite et à tuer la JVM. Sans resource groups, rien ne s'interpose entre une requête et l'ensemble du cluster, et chaque nouvelle tentative aggrave la suivante.

Environnement

Starburst Enterprise sur Kubernetes ou sur des VM, au service de charges analytiques mixtes, ad hoc et planifiées.

Approche

AceMQ part des logs de la JVM et des requêtes pour identifier les opérateurs et les requêtes précisément en cause, puis applique des limites mémoire par requête et par nœud afin que la requête fautive échoue proprement au lieu de tuer le worker. Le spill sur disque est configuré pour les jointures et les tris qui dépassent légitimement la mémoire, et des resource groups cloisonnent la capacité pour isoler les traitements planifiés de l'exploration ad hoc.

Solution

  1. Analyse du heap de la JVM, des logs du GC et des événements de requêtes pour attribuer les crashs à des opérateurs et des formes de requêtes précis
  2. Réglage de query.max-memory, query.max-memory-per-node et memory.heap-headroom en fonction de la concurrence réelle
  3. Configuration du spill sur disque, avec un stockage local adapté, pour les jointures, agrégations et tris qui dépassent légitimement la mémoire
  4. Définition de resource groups séparant les pipelines planifiés, les outils de BI et les requêtes ad hoc des analystes, avec des plafonds de concurrence stricts
  5. Revue de la distribution et du réordonnancement des jointures, y compris la correction du seuil de broadcast lorsque les statistiques induisent l'optimiseur en erreur
  6. Revue du dimensionnement du coordinateur et du profil des nœuds workers, avec arrêt gracieux configuré pour les clusters en autoscaling

Résultat obtenu

Les crashs de workers cessent, et les requêtes qui dépassent leur allocation échouent avec une erreur de ressources explicite au lieu d'entraîner leurs voisines dans leur chute. Les pipelines planifiés se terminent de façon prévisible, car la charge ad hoc ne peut plus accaparer tout le cluster.

Technologies

StarburstTrinoKubernetesDelta Lake

Confronté à un incident de production Starburst ?

Les ingénieurs Starburst seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.