Zurück zu allen Kundenbeispielen

SupportBranchenübergreifend

24/7-Support für Databricks mit Reaktionszeitzielen ab 15 Minuten, je nach Plan, und ohne Tier-1-Triage

Versicherungsdienstleistungsgruppe

Support durch namentlich zugeordnete Engineers bei produktiven Job-Fehlern in Databricks – Driver-OOM, Spot-Reclamation, Library-Konflikte und Retry-Stürme in Workflows.

Überblick

Wenn um 3 Uhr nachts ein Databricks-Workflow fehlschlägt und das Reporting im Downstream davon abhängt, hilft ein Engineer, der Driver-Logs und die Spark UI lesen kann – keine Ticket-Queue. AceMQ stellt namentlich zugeordnete Senior Engineers mit Reaktionszeitzielen ab 15 Minuten, je nach Plan, bereit, 24/7 und ohne Tier-1-Ebene, die man umgehen müsste.

Herausforderung

Produktive Job-Fehler in Databricks haben selten nur eine Ursache. Ein Driver-OOM lässt sich womöglich auf ein collect() über ein gewachsenes Dataset zurückführen; eine Kaskade von Task-Fehlern kann auf die Reclamation von Spot-Instanzen während eines Shuffles zurückgehen; ein plötzlicher Import-Fehler kann von einer Cluster-Library stammen, die nach einem Runtime-Upgrade eine in DBR mitgelieferte Version überdeckt. Die Retry-Richtlinien der Workflows vervielfachen dann die Kosten des Fehlers, indem sie teure Stages unter derselben fehlerhaften Bedingung erneut ausführen.

Umgebung

Databricks auf AWS, Azure oder GCP mit Workflows, Delta Live Tables oder extern orchestrierten Jobs.

Vorgehen

Die Engineers von AceMQ arbeiten mit Driver- und Executor-Logs, der Event-Timeline der Spark UI und der Event-Historie des Clusters, um das auslösende Ereignis von der zugrunde liegenden Fragilität zu trennen. Zuerst kommt die Stabilisierung – die Pipeline muss den heutigen Lauf schaffen –, danach folgen eine Root-Cause-Analyse und die Konfigurations- oder Codeänderung, die eine Wiederholung verhindert.

Lösung

  1. Reaktionszeitziele ab 15 Minuten, je nach Plan, mit namentlich zugeordneten Senior Engineers, 24/7, ohne Tier-1-Triage
  2. Analyse von Driver- und Executor-OOM einschließlich collect-, Broadcast- und Accumulator-Mustern, die Daten auf den Driver ziehen
  3. Diagnose von Spot-Reclamation und Node-Verlust, mit Empfehlungen für On-Demand-Driver und gemischte Worker-Flotten
  4. Auflösung von Library- und DBR-Versionskonflikten über Cluster-, Notebook- und Init-Script-Installationen hinweg
  5. Review von Workflow-Retries und Task-Abhängigkeiten, um Retry-Stürme bei nicht transienten Fehlern zu stoppen
  6. Post-Incident-Bericht mit der konkreten Konfigurations- oder Codeänderung, die ein erneutes Auftreten verhindert

Resultat

Kunden lösen produktive Databricks-Incidents innerhalb von Stunden statt über mehrere Arbeitstage hinweg, und wiederkehrende Fehler nehmen ab, weil die zugrunde liegenden Schwachstellen behoben statt erneut ausgeführt werden.

Technologien

DatabricksApache SparkDelta Lake

Brauchen Sie Expertensupport für Databricks?

Die Senior Engineers von AceMQ für Databricks haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.