Überblick
Spark-Landschaften wachsen durch Anlagerung. Jobs werden kopiert, Ressourcenanforderungen einmal für eine Deadline aufgebläht und nie wieder angepasst, und Pipelines überleben die Reports, die sie einst gespeist haben. AceMQ erstellt ein Profil der gesamten Landschaft und liefert eine gereihte Liste dessen, was zu beheben, zusammenzuführen und zu löschen ist.
Herausforderung
Niemand hat ein vollständiges Bild davon, welche Jobs laufen, was sie kosten und wer ihre Ausgabe nutzt. Executor-Anzahl und Speichereinstellungen wurden vorsichtshalber gewählt statt gemessen. Mehrere Pipelines berechnen nahezu dasselbe Aggregat aus derselben Quelle. Ein nennenswerter Anteil der Jobs verarbeitet so kleine Volumina, dass der Overhead von Spark die eigentliche Arbeit übersteigt – als Single-Node-Prozess liefen sie schneller.
Umgebung
Apache Spark auf Kubernetes, EMR, Dataproc oder Databricks, mit Jobs, die über Airflow oder einen nativen Scheduler orchestriert werden.
Vorgehen
AceMQ sammelt Event-Logs und die Scheduler-Historie über die gesamte Landschaft, um Profile zu Laufzeit, Ressourcenzuteilung und Auslastung pro Job zu erstellen. Zugeteilte Ressourcen werden mit der beobachteten Spitzenauslastung verglichen, um Überdimensionierung aufzudecken, und die Lineage der Ausgaben wird verfolgt, um Pipelines zu finden, deren Abnehmer nicht mehr existieren. Jeder Befund enthält eine konkrete Handlungsempfehlung statt einer allgemeinen Beobachtung.
Lösung
- Inventar aller Jobs der Landschaft mit Laufzeit, zugeteilten Ressourcen, Spitzenauslastung und Kosten pro Lauf
- Analyse der Überdimensionierung durch Vergleich von angefordertem Executor-Speicher und Kernen mit der gemessenen Spitzenauslastung
- Erkennung doppelter und nahezu doppelter Pipelines anhand der Lineage von Quellen und Ausgaben
- Identifikation von Jobs mit kleinem Volumen, bei denen der Spark-Overhead die Arbeit übersteigt und eine Single-Node-Engine schneller und günstiger ist
- Erkennung verwaister Pipelines, deren Ausgabe nachgelagerte Abnehmer nicht mehr lesen
- Priorisierter Backlog für Maßnahmen, geordnet nach eingesparten Kosten im Verhältnis zum nötigen Engineering-Aufwand
Resultat
Kunden erhalten einen konkreten, geordneten Backlog statt eines allgemeinen Effizienzberichts. Die meisten Landschaften enthalten so viel überdimensionierte und verwaiste Arbeit, dass sich die Compute-Kosten deutlich senken lassen, bevor auch nur ein Job neu geschrieben wird.