Présentation
Quand un workflow Databricks échoue à 3 h du matin et que le reporting en aval en dépend, la réponse utile est un ingénieur capable de lire un log de driver et l'interface Spark, pas une file de tickets. AceMQ met à disposition des ingénieurs seniors attitrés avec des objectifs de réponse à partir de 15 minutes, selon le plan ; 24/7, sans niveau 1 à contourner.
Défi
Les échecs de jobs Databricks en production ont rarement une seule cause. Un OOM du driver peut provenir d'un collect() sur un jeu de données qui a grossi ; une cascade d'échecs de tâches peut s'expliquer par la récupération d'instances spot pendant un shuffle ; une erreur d'import soudaine peut venir d'une bibliothèque installée au niveau du cluster qui masque une version fournie avec le DBR après une mise à niveau du runtime. Les politiques de relance des workflows multiplient ensuite le coût de l'échec en réexécutant des étapes coûteuses face à la même condition défaillante.
Environnement
Databricks sur AWS, Azure ou GCP, exécutant des Workflows, des Delta Live Tables ou des jobs orchestrés de l'extérieur.
Approche
Les ingénieurs d'AceMQ s'appuient sur les logs du driver et des executors, la chronologie des événements de l'interface Spark et l'historique des événements du cluster pour distinguer l'événement déclencheur de la fragilité sous-jacente. La stabilisation immédiate passe en premier (faire passer le pipeline lors de l'exécution de la nuit), suivie d'un compte rendu des causes profondes et de la modification de configuration ou de code qui empêche la récidive.
Solution
- Objectifs de réponse à partir de 15 minutes, selon le plan, avec des ingénieurs seniors attitrés, 24/7, sans tri de niveau 1
- Analyse des OOM du driver et des executors, y compris les schémas collect, broadcast et accumulator qui rapatrient les données vers le driver
- Diagnostic de la récupération d'instances spot et des pertes de nœuds, avec des recommandations de driver à la demande et de workers en flotte mixte
- Résolution des conflits de versions de bibliothèques et de DBR entre installations au niveau du cluster, du notebook et des scripts d'initialisation
- Revue des relances de workflows et des dépendances entre tâches pour mettre fin aux tempêtes de relances sur des échecs non transitoires
- Compte rendu post-incident précisant la modification de configuration ou de code qui empêche la récidive
Résultat obtenu
Les clients résolvent leurs incidents Databricks de production en quelques heures au lieu de plusieurs jours ouvrés, et les échecs répétés diminuent à mesure que les fragilités sous-jacentes sont corrigées au lieu d'être relancées.