BlogApache Spark

Quelles entreprises proposent du support Apache Spark ?

Tyler Eastridge

Par Tyler Eastridge, Directeur des opérations

LinkedIn · Mis à jour le · Lecture : 7 min

Quelles entreprises proposent du support Apache Spark ?
Sur cette page

AceMQ propose du support Apache Spark : une couverture 24/7 avec des objectifs de réponse à partir de 15 minutes, selon le plan, pour Apache Spark autogéré, quelle que soit la version. Les autres sources sont la communauté Apache Spark, Databricks, les fournisseurs cloud, ainsi que Cloudera et IBM pour leurs propres plateformes, comparés ci-dessous.

PrestataireCe qu'il couvreIdéal pour
AceMQSupport Apache Spark 24/7 avec des objectifs de réponse à partir de 15 minutes, selon le plan, quelle que soit la versionApache Spark autogéré nécessitant un ingénieur senior attitré d'astreinte
Communauté Apache SparkBranches de versions maintenues : correctifs et versions de sécuritéListes de diffusion et documentation ; aucun délai de réponse
DatabricksDatabricks Runtime sur la plateforme DatabricksÉquipes qui exécutent Spark uniquement sur Databricks
AWS, Google Cloud et MicrosoftAmazon EMR et AWS Glue, le service Spark managé de Google Cloud, Azure Synapse et Microsoft FabricÉquipes qui exécutent Spark sur le service managé d'un seul cloud
Cloudera et IBMCloudera Data Platform et watsonx.dataÉquipes utilisant ces plateformes

Les fenêtres de maintenance du projet sont courtes, et elles ont récemment été raccourcies pour la plupart des versions.

Ce qu'est Spark, et pourquoi cela détermine le support

Apache Spark est un moteur unifié open source de traitement de données à grande échelle, projet de premier niveau de l'Apache Software Foundation. Un même cluster Spark exécute plusieurs types de charges de travail via un seul ensemble d'API : traitement de données par lots avec Spark Core, requêtes avec Spark SQL, traitement de flux avec Structured Streaming, machine learning avec MLlib et traitement de graphes avec GraphX. Les équipes écrivent leurs applications Spark en Python avec PySpark, en Scala, en Java ou en SQL, et les versions récentes ajoutent Spark Connect, qui permet de se connecter à distance aux clusters Spark depuis un client léger, ainsi que l'API pandas sur Spark. Né aux côtés d'Apache Hadoop comme alternative plus rapide à Hadoop MapReduce, Spark lit encore souvent depuis HDFS et Apache Hive, même si la plupart des nouvelles charges Spark reposent sur du stockage objet et Kubernetes.

C'est précisément cette étendue qui complique le support. Une équipe d'analyse de données qui lance des traitements Spark SQL nocturnes, une équipe d'analytique temps réel qui exécute Structured Streaming sur Kafka et une équipe data science qui entraîne des modèles « utilisent toutes Spark », mais leurs pannes n'ont rien à voir. Le support doit couvrir l'architecture Spark elle-même (driver, executors et gestionnaire de cluster), mais aussi le runtime du langage, les connecteurs de sources de données et l'organisation des datasets sous-jacents. Aucun éditeur ne couvre à lui seul tout cela pour un cluster que vous exploitez vous-même.

Ce que maintient le projet Apache Spark

La politique de versionnage du projet fixe une nouvelle cadence à partir de Spark 4.3.0 : une version de fonctionnalités chaque trimestre, une version majeure chaque année et des versions de maintenance selon les besoins pour les corrections de bugs critiques et les correctifs de sécurité. Une branche de version majeure ou de fonctionnalités est maintenue pendant six mois. La dernière version de chaque ligne majeure est désignée support à long terme (LTS) et maintenue pendant 18 mois. Spark 3.5.x fait figure d'exception déclarée, avec une période LTS étendue qui prend fin en novembre 2027, pendant laquelle il ne reçoit que des correctifs de sécurité.

Concrètement, si vous exécutez autre chose qu'une version LTS, vous sortez de la maintenance du projet en moins de six mois. Si vous exécutez Spark 3.5, vous disposez de correctifs de sécurité jusqu'à fin 2027, mais d'aucune correction de bugs. Spark 2.x et les anciennes branches 3.x ne sont plus maintenues. Comme pour tout projet Apache, la maintenance se traduit par des versions. Les questions passent par les listes de diffusion et Stack Overflow, sans aucun délai de réponse.

Comparatif des prestataires de support Apache Spark

Trois types d'organisations assurent le support d'Apache Spark. Le projet Apache Spark maintient le code. Les éditeurs de plateformes prennent en charge Spark lorsqu'il tourne sur leur plateforme : Databricks, AWS, Google Cloud, Microsoft, Cloudera et IBM. Les prestataires indépendants comme AceMQ assurent le support de Spark open source autogéré et des jobs sur n'importe quelle plateforme, avec un SLA commercial.

EntrepriseCe qu'elle couvreSpark autogéré ?
Communauté Apache Spark (ASF)Branches de versions maintenues : correctifs et versions de sécuritéAucun délai de réponse ; listes de diffusion et Stack Overflow
DatabricksDatabricks Runtime sur la plateforme Databricks, y compris Azure DatabricksUniquement sur Databricks
AWSSpark sur Amazon EMR et AWS Glue, dans le cadre d'un plan AWS SupportUniquement sur EMR ou Glue
Google CloudManaged Service for Apache Spark (anciennement Dataproc et Serverless for Apache Spark)Uniquement sur Google Cloud
MicrosoftPools Spark dans Azure Synapse Analytics et Spark dans Microsoft FabricUniquement sur Azure et Fabric
ClouderaSpark intégré à Cloudera Data PlatformUniquement dans le cadre d'un abonnement Cloudera
IBMLe moteur Spark de watsonx.dataUniquement dans watsonx.data
AceMQSupport 24/7 pour Spark open source autogéré, et pour les jobs exécutés sur l'ensemble des plateformes ci-dessusOui, quelle que soit la version, y compris les 2.x et 3.x qui ne sont plus maintenues

Databricks a été fondé par les créateurs de Spark. Chaque éditeur de plateforme livre ses propres builds Spark selon son propre calendrier de versions : la version de Spark que vous pouvez exécuter, et la durée pendant laquelle elle reçoit des correctifs, dépendent donc de la plateforme et non du projet Apache. Tous ces acteurs prennent en charge leur plateforme et son runtime. Aucun ne prend en charge le job que vous avez écrit. Quand un executor tombe sur une erreur out-of-memory à 2 h du matin, l'éditeur de la plateforme vous confirmera que le cluster est en bonne santé, et il aura raison.

Les incidents Spark qui déclenchent vraiment l'astreinte

  • Erreurs out-of-memory sur les executors. Une jointure ou une agrégation sur une clé déséquilibrée envoie l'essentiel des données vers quelques partitions : ces executors tombent pendant que les autres restent inactifs. L'adaptive query execution atténue le skew, et le salting ou le repartitionnement règlent ce qu'elle ne peut pas résoudre.
  • Des broadcast joins qui ne passent plus. Une table de dimension a dépassé le seuil de broadcast ou la mémoire du driver, et un job qui tournait depuis un an échoue ou devient dix fois plus lent lorsque Spark se rabat sur une shuffle join.
  • Échecs de shuffle. Des fetch failures et des fichiers de shuffle perdus apparaissent quand des executors sont préemptés, que les disques se remplissent de shuffle spill ou que l'allocation dynamique supprime un executor qui détenait encore des données de shuffle. Un service de shuffle externe ou une autre organisation du stockage est généralement la solution.
  • Le problème des petits fichiers. Des milliers de fichiers de sortie minuscules ralentissent chaque lecture en aval et saturent le stockage objet ou le metastore. La compaction, un partitionnement judicieux et des formats de table comme Delta ou Iceberg règlent le problème à la source.
  • Des jobs de streaming qui prennent du retard. Une requête Structured Streaming accumule de l'état faute de watermark, les checkpoints grossissent, les batchs dépassent leur intervalle de déclenchement et le retard augmente jusqu'à ce que quelqu'un relance la requête et perde l'état.
  • Des coûts qui doublent sans nouvelle charge. Executors surdimensionnés, jobs qui ne libèrent jamais leurs ressources, recalcul complet là où un traitement incrémental suffirait. C'est une question de support autant que de finances.

Passer d'une version de Spark à une autre

Le passage de Spark 3 à Spark 4 est un vrai saut. Spark 4 exige des versions plus récentes de Java et de Scala, active par défaut le mode ANSI SQL, ce qui modifie le comportement des dépassements de capacité, des casts invalides et des divisions par zéro, et supprime des API obsolètes depuis des années. Des jobs qui produisaient silencieusement des valeurs nulles peuvent désormais échouer, ce qui est correct mais gênant. Les guides de migration listent les changements de comportement par module, et le plan réaliste consiste à exécuter la suite de tests existante et un échantillon de jobs de production sur la nouvelle version en comparant les résultats, et pas seulement le succès ou l'échec. Les connecteurs, les bibliothèques d'UDF et les versions de formats de table ont chacun leur propre matrice de compatibilité avec la version de Spark et doivent évoluer ensemble.

Quelles questions poser à un prestataire de support Spark ?

  • Lirez-vous le code de nos jobs ? Les incidents Spark sont rarement des pannes de cluster. Un prestataire qui ne regarde que les métriques d'infrastructure ne peut pas corriger une jointure déséquilibrée.
  • Quelles plateformes et quelles versions ? Interrogez-le sur votre environnement réel : Spark open source sur Kubernetes, EMR, Databricks, et ce job Spark 2.4 que personne n'ose toucher.
  • Batch et streaming ? Structured Streaming a ses propres modes de défaillance liés à l'état, aux checkpoints et aux sinks exactly-once, et toutes les équipes Spark ne l'ont pas exploité en production.
  • Pouvez-vous montrer des résultats sur les coûts ? Un audit compétent d'un cluster chargé permet généralement de réaliser des économies, et un prestataire doit pouvoir expliquer comment.
  • Qui répond la nuit ? Les pipelines échouent pendant la fenêtre de batch. Demandez si c'est un ingénieur qui répond ou un numéro de ticket.

La place du support Spark indépendant

  • Spark autogéré sur Kubernetes, YARN ou clusters standalone, y compris les versions qui ne sont plus maintenues.
  • Problèmes au niveau des jobs, quelle que soit la plateforme, lorsque l'éditeur prend en charge le runtime et que personne ne prend en charge le pipeline.
  • Audits de performance et de coûts, qui se rentabilisent sur tout cluster d'une taille significative.
  • Montées de version et migrations, y compris les parcs hérités de l'ère Hadoop qui passent au stockage objet et aux formats de table modernes.

AceMQ fournit un support Apache Spark 24/7 avec des objectifs de réponse à partir de 15 minutes, selon le plan, et des data engineers seniors attitrés, pour les clusters autogérés et pour les charges Spark sur Databricks, EMR et Dataproc. Exemples : la résolution d'un OOM d'executor et d'un skew de partitions et une évaluation des coûts d'une charge de travail Spark.

Support AceMQ Apache Spark : première réponse selon la gravitéObjectifs de réponse selon le plan ; votre contrat fixe le niveau.
GravitéPremière réponseIncident type
P1 — UrgenceÀ partir de 15 min (selon le plan)Production à l'arrêt, flux de données interrompu, défaillance du cluster ou d'un nœud
P2 — Critique1 heureDégradation sévère, taux d'erreur en hausse, limites de capacité bientôt atteintes
P3 — Élevée4 heuresProblèmes de performance, problèmes de configuration, défaillances non critiques
P4 — StandardJour suivantQuestions, conseils, bonnes pratiques, améliorations non urgentes

Questions fréquentes

Quelles entreprises proposent un support Apache Spark ?

Les éditeurs de plateformes prennent en charge Spark sur leurs propres plateformes : Databricks pour le Databricks Runtime, AWS pour Amazon EMR et AWS Glue, Google Cloud pour son Managed Service for Apache Spark (anciennement Dataproc), Microsoft pour Azure Synapse et Microsoft Fabric, Cloudera pour Cloudera Data Platform, et IBM pour watsonx.data. La communauté Apache Spark maintient des branches de versions, sans délai de réponse. Des prestataires indépendants comme AceMQ prennent en charge Spark open source autogéré, ainsi que les jobs qui tournent sur n'importe laquelle de ces plateformes, avec un SLA 24/7.

Combien de temps une version de Spark est-elle maintenue ?

Selon la politique de versionnage qui démarre avec Spark 4.3.0, les branches de versions majeures et de fonctionnalités sont maintenues pendant six mois, et la dernière version de chaque ligne majeure est une LTS maintenue pendant 18 mois.

Spark 3.5 est-il encore supporté ?

Spark 3.5.x bénéficie d'une période LTS étendue qui prend fin en novembre 2027, pendant laquelle il ne reçoit que des correctifs de sécurité.

Le support Databricks ou EMR couvre-t-il mes jobs Spark ?

Il couvre la plateforme et le runtime. La logique des jobs, le déséquilibre des données, la configuration mémoire et la conception des pipelines relèvent de votre responsabilité ou de celle de votre prestataire de support.

Existe-t-il un support commercial pour Apache Spark open source ?

Oui. Les éditeurs de plateformes prennent en charge leurs propres distributions, et des prestataires indépendants proposent des contrats de support pour Spark open source autogéré, quelle que soit la version.

Tyler Eastridge

Auteur

Tyler EastridgeDirecteur des opérations

Directeur des opérations chez AceMQ. Il signe ici les contenus commerciaux : licences RabbitMQ et VMware, tarifs, renouvellements et modèles de support.

Parler à un ingénieur

Besoin d’un coup de main sur Apache Spark ?

Des ingénieurs seniors qui l’exploitent en production. Demandez un devis ou une consultation gratuite, sans argumentaire commercial.

Consultation gratuite

Un regard expert sur votre environnement Apache Spark

Que vous deviez résoudre un incident de production, planifier une migration ou obtenir un second avis sur votre architecture, notre équipe est prête. Pas d’argumentaire commercial, seulement des réponses.

Nous écrire