Retour à tous les cas d'usage

AuditLogiciels / plateformes numériques

Savoir quels jobs Spark justifient leur compute, et lesquels non

Plateforme de streaming vidéo

Profiler un parc Spark pour repérer les jobs surdimensionnés, les pipelines redondants et les charges qui seraient mieux servies par autre chose que Spark.

Présentation

Les parcs Spark grossissent par accumulation. Des jobs sont copiés, des demandes de ressources sont gonflées une fois pour tenir une échéance et jamais révisées, et des pipelines survivent aux rapports qu'ils alimentaient. AceMQ profile l'ensemble du parc et livre une liste classée de ce qu'il faut corriger, regrouper et supprimer.

Défi

Personne n'a une vision complète des jobs qui tournent, de ce qu'ils coûtent et de qui consomme leurs résultats. Le nombre d'executors et les paramètres mémoire ont été choisis par précaution plutôt que mesurés. Plusieurs pipelines calculent quasiment le même agrégat à partir de la même source. Une part non négligeable des jobs traitent des volumes si faibles que la surcharge de Spark dépasse le travail lui-même, et ils s'exécuteraient plus vite sous la forme d'un traitement sur un seul nœud.

Environnement

Apache Spark sur Kubernetes, EMR, Dataproc ou Databricks, avec des jobs orchestrés par Airflow ou par un ordonnanceur natif.

Approche

AceMQ collecte les event logs et l'historique de l'ordonnanceur sur tout le parc pour établir, job par job, des profils de durée d'exécution, de ressources allouées et d'utilisation. Les ressources allouées sont comparées au pic d'utilisation observé pour repérer le surdimensionnement, et le lignage des sorties est retracé pour trouver les pipelines dont les consommateurs n'existent plus. Chaque constat s'accompagne d'une action recommandée précise plutôt que d'une observation générale.

Solution

  1. Inventaire des jobs à l'échelle du parc, avec durée d'exécution, ressources allouées, pic d'utilisation et coût par exécution
  2. Analyse du surdimensionnement comparant la mémoire et les cœurs demandés pour les executors au pic d'utilisation mesuré
  3. Détection des pipelines en double ou quasi identiques grâce au lignage des sources et des sorties
  4. Identification des jobs à faible volume pour lesquels la surcharge de Spark dépasse le travail et où un moteur mono-nœud est plus rapide et moins cher
  5. Détection des pipelines orphelins dont les consommateurs en aval ne lisent plus les sorties
  6. Backlog de remédiation priorisé selon les économies réalisées au regard de l'effort d'ingénierie nécessaire

Résultat obtenu

Les clients obtiennent un backlog concret et ordonné plutôt qu'un rapport général sur l'efficacité. La plupart des parcs contiennent suffisamment de traitements surdimensionnés et orphelins pour réduire nettement les dépenses de compute avant même la réécriture du moindre job.

Technologies

Apache SparkDatabricksDelta LakeKubernetes

Prêt pour un bilan de santé Apache Spark ?

Les ingénieurs Apache Spark seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.