Zurück zu allen Kundenbeispielen

AssessmentFinanzdienstleistungen / Zahlungsverkehr

Herausfinden, wohin die DBUs wirklich gehen – und dann nicht mehr für ungenutzte Compute-Kapazität zahlen

Globaler Zahlungsdienstleister

Richtige Dimensionierung der Databricks-Compute-Ressourcen, indem geplante Workloads von All-Purpose-Clustern verlagert und Autoscaling, Instanzauswahl und Idle-Timeouts strenger eingestellt werden.

Überblick

Databricks rechnet in DBUs ab, und dasselbe Notebook, das auf einem Job-Cluster ein paar Dollar kostet, kann auf einem interaktiven All-Purpose-Cluster, der den ganzen Tag läuft, ein Vielfaches davon kosten. AceMQ prüft die tatsächliche Cluster-Nutzung anhand der Workloads, die darauf laufen, und erstellt einen Maßnahmenplan mit Kostenangaben.

Herausforderung

Teams, die mit Notebooks angefangen haben, lassen produktives ETL gern auf gemeinsam genutzten All-Purpose-Clustern laufen, weil es bequem ist. Die Mindestwerte fürs Autoscaling werden hoch angesetzt, um Kaltstarts zu vermeiden, Idle-Timeouts werden deaktiviert, damit niemand seine Session verliert, und Cluster Policies fehlen entweder ganz oder sind zu großzügig, um irgendetwas durchzusetzen. Das Ergebnis ist eine Rechnung, die schneller wächst als das Datenvolumen, ohne klare Zuordnung zu einem Team oder einer Pipeline.

Umgebung

Databricks auf AWS, Azure oder GCP mit Workloads aus Notebooks, geplanten Jobs und Delta-Live-Tables-Pipelines.

Vorgehen

AceMQ wertet System Tables und Cluster-Event-Logs aus, um ein DBU-Profil pro Workload zu erstellen, und trennt dabei interaktive Exploration von geplanter Produktionsarbeit. Bei jedem teuren Workload prüfen wir, ob die Kosten aus der Compute-Auswahl, der Laufzeit oder dem Datenlayout stammen. Anschließend definieren wir Cluster Policies und eine Konfiguration der Instance Pools, die den günstigen Weg zum Standardweg machen, statt auf die Disziplin der Teams zu setzen.

Lösung

  1. Zuordnung der DBUs nach Workload, Team und Cluster-Typ aus System Tables und Cluster-Event-Logs
  2. Migration geplanter Pipelines von All-Purpose-Clustern auf Job-Cluster mit kurzlebigem Lebenszyklus
  3. Review von Autoscaling-Untergrenze, Idle-Timeout und Instanzfamilie, einschließlich der Eignung von Photon und Spot pro Workload
  4. Cluster Policies, die Knotentypen, Worker-Anzahl und DBR-Versionen pro Workspace und Team begrenzen
  5. Design von Instance Pools, die Kaltstartkosten senken, ohne über Nacht warme Kapazität vorzuhalten
  6. Tagging- und Chargeback-Modell, damit die Plattformkosten dem Team zugeordnet werden, das sie verursacht hat

Resultat

Kunden erhalten eine gereihte Liste der Workloads, die den Großteil der DBU-Kosten verursachen, und einen Satz von Policies, der verhindert, dass neue Workloads dasselbe Muster wiederholen. In den meisten Projekten finden wir so viel ungenutzte und überdimensionierte Compute-Kapazität, dass sich die Plattformkosten spürbar senken lassen, ohne die Logik einer einzigen Pipeline zu ändern.

Technologien

DatabricksApache SparkDelta LakeTerraform

Bereit für einen Databricks-Health-Check?

Die Senior Engineers von AceMQ für Databricks haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.