Présentation
Dans Trino, une seule jointure non contrainte peut épuiser le heap des workers et faire tomber des nœuds dont dépendent des dizaines d'autres requêtes. AceMQ corrige l'instabilité immédiate, puis met en place les contrôles de ressources qui empêchent la requête d'un analyste de devenir la panne de tout le monde.
Défi
Sous pression mémoire, Trino tombe brutalement. Un cross join avec un mauvais prédicat, un broadcast join dont le côté build s'avère bien plus volumineux que ne le laissaient croire les statistiques, ou un ORDER BY sur une table de faits non filtrée suffit à pousser le heap d'un worker au-delà de sa limite et à tuer la JVM. Sans resource groups, rien ne s'interpose entre une requête et l'ensemble du cluster, et chaque nouvelle tentative aggrave la suivante.
Environnement
Starburst Enterprise sur Kubernetes ou sur des VM, au service de charges analytiques mixtes, ad hoc et planifiées.
Approche
AceMQ part des logs de la JVM et des requêtes pour identifier les opérateurs et les requêtes précisément en cause, puis applique des limites mémoire par requête et par nœud afin que la requête fautive échoue proprement au lieu de tuer le worker. Le spill sur disque est configuré pour les jointures et les tris qui dépassent légitimement la mémoire, et des resource groups cloisonnent la capacité pour isoler les traitements planifiés de l'exploration ad hoc.
Solution
- Analyse du heap de la JVM, des logs du GC et des événements de requêtes pour attribuer les crashs à des opérateurs et des formes de requêtes précis
- Réglage de query.max-memory, query.max-memory-per-node et memory.heap-headroom en fonction de la concurrence réelle
- Configuration du spill sur disque, avec un stockage local adapté, pour les jointures, agrégations et tris qui dépassent légitimement la mémoire
- Définition de resource groups séparant les pipelines planifiés, les outils de BI et les requêtes ad hoc des analystes, avec des plafonds de concurrence stricts
- Revue de la distribution et du réordonnancement des jointures, y compris la correction du seuil de broadcast lorsque les statistiques induisent l'optimiseur en erreur
- Revue du dimensionnement du coordinateur et du profil des nœuds workers, avec arrêt gracieux configuré pour les clusters en autoscaling
Résultat obtenu
Les crashs de workers cessent, et les requêtes qui dépassent leur allocation échouent avec une erreur de ressources explicite au lieu d'entraîner leurs voisines dans leur chute. Les pipelines planifiés se terminent de façon prévisible, car la charge ad hoc ne peut plus accaparer tout le cluster.