Überblick
Ein einziger unbegrenzter Join in Trino kann den Heap der Worker erschöpfen und Nodes zum Absturz bringen, von denen Dutzende andere Queries abhängen. AceMQ beseitigt die akute Instabilität und richtet anschließend die Ressourcenkontrollen ein, die verhindern, dass die Query eines einzelnen Analysten zum Ausfall für alle wird.
Herausforderung
Unter Speicherdruck scheitert Trino abrupt. Ein Cross Join mit fehlerhaftem Prädikat, ein Broadcast Join, dessen Build-Seite sich als viel größer herausstellt, als die Statistiken vermuten ließen, oder ein ORDER BY über eine ungefilterte Faktentabelle treibt den Heap der Worker über sein Limit und beendet die JVM. Ohne Resource Groups steht nichts zwischen einer einzelnen Query und dem gesamten Cluster, und Wiederholungsversuche machen den nächsten Anlauf noch schlimmer.
Umgebung
Starburst Enterprise auf Kubernetes oder VMs für gemischte Ad-hoc- und geplante Analytics-Workloads.
Vorgehen
AceMQ beginnt bei den JVM- und Query-Logs, um die verantwortlichen Operatoren und Queries zu identifizieren, und setzt dann Speicherlimits pro Query und pro Node, sodass die verursachende Query sauber fehlschlägt, statt den Worker zu beenden. Spill-to-Disk wird für die Joins und Sortierungen konfiguriert, die den Speicher legitimerweise überschreiten, und Resource Groups teilen die Kapazität so auf, dass geplante Jobs von Ad-hoc-Analysen abgeschirmt sind.
Lösung
- Analyse von JVM-Heap, GC-Logs und Query-Events, um Abstürze konkreten Operatoren und Query-Mustern zuzuordnen
- Tuning von query.max-memory, query.max-memory-per-node und memory.heap-headroom passend zur realen Nebenläufigkeit
- Konfiguration von Spill-to-Disk mit passendem lokalem Storage für Joins, Aggregationen und Sortierungen, die den Speicher legitimerweise überschreiten
- Definition von Resource Groups, die geplante Pipelines, BI-Tools und Ad-hoc-Queries von Analysten mit harten Obergrenzen für die Nebenläufigkeit trennen
- Review von Join-Verteilung und -Reihenfolge, einschließlich Korrektur des Broadcast-Schwellenwerts, wo Statistiken den Optimizer in die Irre führen
- Review der Coordinator-Dimensionierung und der Worker-Node-Profile, mit Graceful Shutdown für Cluster mit Autoscaling
Resultat
Die Worker-Abstürze hören auf, und Queries, die ihr Kontingent überschreiten, scheitern mit einer klaren Ressourcenmeldung, statt andere Nodes mitzureißen. Geplante Pipelines laufen verlässlich durch, weil Ad-hoc-Last nicht mehr den gesamten Cluster belegen kann.