Présentation
Les parcs Spark grossissent par accumulation. Des jobs sont copiés, des demandes de ressources sont gonflées une fois pour tenir une échéance et jamais révisées, et des pipelines survivent aux rapports qu'ils alimentaient. AceMQ profile l'ensemble du parc et livre une liste classée de ce qu'il faut corriger, regrouper et supprimer.
Défi
Personne n'a une vision complète des jobs qui tournent, de ce qu'ils coûtent et de qui consomme leurs résultats. Le nombre d'executors et les paramètres mémoire ont été choisis par précaution plutôt que mesurés. Plusieurs pipelines calculent quasiment le même agrégat à partir de la même source. Une part non négligeable des jobs traitent des volumes si faibles que la surcharge de Spark dépasse le travail lui-même, et ils s'exécuteraient plus vite sous la forme d'un traitement sur un seul nœud.
Environnement
Apache Spark sur Kubernetes, EMR, Dataproc ou Databricks, avec des jobs orchestrés par Airflow ou par un ordonnanceur natif.
Approche
AceMQ collecte les event logs et l'historique de l'ordonnanceur sur tout le parc pour établir, job par job, des profils de durée d'exécution, de ressources allouées et d'utilisation. Les ressources allouées sont comparées au pic d'utilisation observé pour repérer le surdimensionnement, et le lignage des sorties est retracé pour trouver les pipelines dont les consommateurs n'existent plus. Chaque constat s'accompagne d'une action recommandée précise plutôt que d'une observation générale.
Solution
- Inventaire des jobs à l'échelle du parc, avec durée d'exécution, ressources allouées, pic d'utilisation et coût par exécution
- Analyse du surdimensionnement comparant la mémoire et les cœurs demandés pour les executors au pic d'utilisation mesuré
- Détection des pipelines en double ou quasi identiques grâce au lignage des sources et des sorties
- Identification des jobs à faible volume pour lesquels la surcharge de Spark dépasse le travail et où un moteur mono-nœud est plus rapide et moins cher
- Détection des pipelines orphelins dont les consommateurs en aval ne lisent plus les sorties
- Backlog de remédiation priorisé selon les économies réalisées au regard de l'effort d'ingénierie nécessaire
Résultat obtenu
Les clients obtiennent un backlog concret et ordonné plutôt qu'un rapport général sur l'efficacité. La plupart des parcs contiennent suffisamment de traitements surdimensionnés et orphelins pour réduire nettement les dépenses de compute avant même la réécriture du moindre job.