Zurück zu allen Kundenbeispielen

FehlerbehebungTelekommunikation

Wenn 199 Tasks in einer Minute fertig sind und einer eine Stunde läuft, ist das Problem Skew

Telekommunikationsanbieter

Behebung nächtlicher Jobs, bei denen wenige schiefe Keys die Daten auf einige Executors konzentrieren und wiederholt Out-of-Memory-Fehler verursachen.

Überblick

Executor-OOM in Spark ist meist ein Symptom. Die eigentliche Ursache ist oft, dass wenige Join- oder Group-Keys einen unverhältnismäßig großen Anteil der Zeilen auf sich vereinen. AceMQ diagnostiziert den Skew direkt, statt den Executor-Speicher so lange zu erhöhen, bis der Job nicht mehr abstürzt.

Herausforderung

Das typische Muster ist ein Join über eine Spalte, in der ein Null-Platzhalter oder eine Standard-Tenant-ID einen großen Teil der Zeilen ausmacht. Alle diese Zeilen landen per Hash in derselben Partition, ein einziger Executor versucht sie zu halten und stirbt. Teams reagieren darauf, indem sie spark.executor.memory erhöhen – das verzögert den Fehler und treibt die Clusterkosten, ohne irgendetwas zu lösen. Gleichzeitig wird die Laufzeit der Stage durch ihren langsamsten Task bestimmt, sodass das Job-Fenster immer weiter wächst.

Umgebung

Apache Spark auf YARN, Kubernetes oder Databricks mit Batch-ETL gegen Hive-, Delta- oder Iceberg-Tabellen.

Vorgehen

AceMQ wertet die Stage-Details in der Spark UI und die Event Logs aus, um Eingabegröße und Verteilung des Shuffle Read pro Task zu vergleichen – dadurch wird Skew sofort sichtbar. Die Abhilfe richtet sich nach den Daten: Adaptive Query Execution, wo die Version sie unterstützt, Salting für dauerhaft heiße Keys, Herausfiltern von Zeilen mit Null-Keys aus dem Join-Pfad oder ein Broadcast, wo die Dimensionsseite tatsächlich klein ist.

Lösung

  1. Analyse der Verteilung von Input und Shuffle Read pro Task aus den Event Logs, um die schiefen Keys zu identifizieren und zu quantifizieren
  2. Aktivierung von Adaptive Query Execution mit Schwellenwerten für Skew Join und Partition Coalescing, abgestimmt auf die beobachtete Verteilung
  3. Key Salting für dauerhaft heiße Keys, mit entsprechend umgeschriebener Aggregation
  4. Behandlung von Null- und Sentinel-Keys aus dem Join-Pfad entfernt, wo diese Zeilen keine fachliche Bedeutung haben
  5. Dimensionierung von Executor-Speicher, Kernanzahl und Memory Overhead korrigiert – erst nachdem die Verteilung behoben ist, nicht vorher
  6. Überprüfung der Partitionsanzahl und der Platzierung von Repartition-Aufrufen, um unnötige vollständige Shuffles zu vermeiden

Resultat

Nächtliche Jobs, die zuvor sporadisch an OOM scheiterten, laufen zuverlässig durch, und die Laufzeiten der Stages gleichen sich an, weil kein einzelner Task mehr die gesamte Partition trägt. Die Speicherzuteilung des Clusters sinkt in der Regel, statt zu steigen.

Technologien

Apache SparkApache HadoopDelta LakeYARN

Haben Sie ein Produktionsproblem mit Apache Spark?

Die Senior Engineers von AceMQ für Apache Spark haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.