Überblick
Verbringt ein Spark-Job mehr Zeit damit, Shuffle-Daten auf die Platte zu schreiben, als mit Rechnen, bringen zusätzliche Executors wenig – der Engpass ist I/O, das der Job gar nicht hätte leisten müssen. AceMQ ermittelt, woher das Shuffle-Volumen stammt, und strukturiert den Job so um, dass es entfällt.
Herausforderung
In nächtlichen Batch-Jobs sammeln sich mit der Zeit Shuffle-lastige Muster an: wiederholte Repartitions, Joins vor den Filtern, breite Aggregationen über nicht beschnittene Spalten und eine statische Zahl von Shuffle-Partitionen, die nicht mehr zum Datenvolumen passt. Der Spill auf die Platte bestimmt dann die Laufzeit, und weil der Job von der langsamsten Stage begrenzt wird, schiebt sich das Batch-Fenster über die Deadline, von der das nachgelagerte Reporting abhängt.
Umgebung
Apache Spark auf YARN oder Kubernetes mit nächtlichem Batch-ETL, typischerweise auf Hive- oder Delta-Tabellen im Multi-Terabyte-Bereich.
Vorgehen
AceMQ erstellt ein Profil von Shuffle-Read- und -Write-Volumen sowie Spill-Bytes pro Stage. So zeigt sich die kleine Zahl von Stages, die den Großteil des I/O verursacht. Diese Stages werden zuerst strukturell überarbeitet – Predicate- und Projection-Pushdown, geänderte Join-Reihenfolge, Entfernen überflüssiger Repartitions –, bevor überhaupt Konfiguration getunt wird. Partitionsgrößen und Serialisierungseinstellungen werden zuletzt angepasst, abgestimmt auf die korrigierte Job-Struktur.
Lösung
- Profiling von Shuffle-Read, -Write und Spill pro Stage, um die Stages zu isolieren, die das Batch-Fenster bestimmen
- Prädikat- und Spaltenfilter vor die Joins gezogen, damit die Shuffles weniger Daten transportieren
- Überflüssige repartition- und coalesce-Aufrufe entfernt, die ohne Nutzen vollständige Shuffles erzwingen
- Dimensionierung von shuffle.partitions und Coalescing durch Adaptive Query Execution auf das reale Datenvolumen pro Partition abgestimmt
- Kryo-Serialisierung, Kompressions-Codec und Shuffle-Buffer-Einstellungen passend zur korrigierten Job-Struktur angepasst
- Review von External Shuffle Service und lokalem Disk-Layout, einschließlich eigener Spill-Volumes, wo I/O konkurriert
Resultat
Kunden verkürzen das nächtliche Batch-Fenster bei den überarbeiteten Jobs typischerweise um rund ein Drittel, wobei der größte Gewinn aus strukturellen Änderungen statt aus Konfiguration stammt. Das Fenster driftet nicht mehr, weil das Shuffle-Volumen nicht mehr mit jedem Datenzuwachs mitwächst.