Zurück zu allen Kundenbeispielen

BeratungFinanzdienstleistungen / Zahlungsverkehr

Weniger Shuffle – und das Batch-Fenster schrumpft mit

Landesweit tätige Privatkundenbank

Weniger Shuffle-Writes und Disk-Spill bei nächtlichen Batch-Jobs, damit das Verarbeitungsfenster vor der Reporting-Deadline abgeschlossen ist.

Überblick

Verbringt ein Spark-Job mehr Zeit damit, Shuffle-Daten auf die Platte zu schreiben, als mit Rechnen, bringen zusätzliche Executors wenig – der Engpass ist I/O, das der Job gar nicht hätte leisten müssen. AceMQ ermittelt, woher das Shuffle-Volumen stammt, und strukturiert den Job so um, dass es entfällt.

Herausforderung

In nächtlichen Batch-Jobs sammeln sich mit der Zeit Shuffle-lastige Muster an: wiederholte Repartitions, Joins vor den Filtern, breite Aggregationen über nicht beschnittene Spalten und eine statische Zahl von Shuffle-Partitionen, die nicht mehr zum Datenvolumen passt. Der Spill auf die Platte bestimmt dann die Laufzeit, und weil der Job von der langsamsten Stage begrenzt wird, schiebt sich das Batch-Fenster über die Deadline, von der das nachgelagerte Reporting abhängt.

Umgebung

Apache Spark auf YARN oder Kubernetes mit nächtlichem Batch-ETL, typischerweise auf Hive- oder Delta-Tabellen im Multi-Terabyte-Bereich.

Vorgehen

AceMQ erstellt ein Profil von Shuffle-Read- und -Write-Volumen sowie Spill-Bytes pro Stage. So zeigt sich die kleine Zahl von Stages, die den Großteil des I/O verursacht. Diese Stages werden zuerst strukturell überarbeitet – Predicate- und Projection-Pushdown, geänderte Join-Reihenfolge, Entfernen überflüssiger Repartitions –, bevor überhaupt Konfiguration getunt wird. Partitionsgrößen und Serialisierungseinstellungen werden zuletzt angepasst, abgestimmt auf die korrigierte Job-Struktur.

Lösung

  1. Profiling von Shuffle-Read, -Write und Spill pro Stage, um die Stages zu isolieren, die das Batch-Fenster bestimmen
  2. Prädikat- und Spaltenfilter vor die Joins gezogen, damit die Shuffles weniger Daten transportieren
  3. Überflüssige repartition- und coalesce-Aufrufe entfernt, die ohne Nutzen vollständige Shuffles erzwingen
  4. Dimensionierung von shuffle.partitions und Coalescing durch Adaptive Query Execution auf das reale Datenvolumen pro Partition abgestimmt
  5. Kryo-Serialisierung, Kompressions-Codec und Shuffle-Buffer-Einstellungen passend zur korrigierten Job-Struktur angepasst
  6. Review von External Shuffle Service und lokalem Disk-Layout, einschließlich eigener Spill-Volumes, wo I/O konkurriert

Resultat

Kunden verkürzen das nächtliche Batch-Fenster bei den überarbeiteten Jobs typischerweise um rund ein Drittel, wobei der größte Gewinn aus strukturellen Änderungen statt aus Konfiguration stammt. Das Fenster driftet nicht mehr, weil das Shuffle-Volumen nicht mehr mit jedem Datenzuwachs mitwächst.

Technologien

Apache SparkApache HadoopYARNApache Hive

Brauchen Sie Architekturberatung für Apache Spark?

Die Senior Engineers von AceMQ für Apache Spark haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.