BlogApache Flink

Quelles entreprises proposent du support Apache Flink ?

Tyler Eastridge

Par Tyler Eastridge, Directeur des opérations

LinkedIn · Mis à jour le · Lecture : 6 min

Quelles entreprises proposent du support Apache Flink ?
Sur cette page

AceMQ propose du support Apache Flink : une couverture 24/7 avec des objectifs de réponse à partir de 15 minutes, selon le plan, pour Apache Flink autogéré, quelle que soit la version. Les autres sources sont la communauté Apache Flink et les éditeurs de services Flink managés, comparés ci-dessous.

PrestataireCe qu'il prend en chargeIdéal pour
AceMQSupport Apache Flink 24/7 avec des objectifs de réponse à partir de 15 minutes, selon le plan, quelle que soit la versionApache Flink autogéré qui nécessite un ingénieur senior attitré d'astreinte
Communauté Apache FlinkLa version mineure actuelle et la précédente, avec correctifsAucun délai de réponse
Éditeurs de services Flink managésLeurs propres plateformesLes équipes qui exécutent Flink uniquement sur le service d'un seul éditeur

Pour un système souvent placé sur le chemin du chiffre d'affaires en temps réel, c'est une couverture de support bien mince par défaut.

Le projet expose sa politique sur la page de téléchargements : la communauté Flink fournit des correctifs pour la version mineure actuelle et la précédente. À la sortie d'une nouvelle version mineure, la communauté publie une dernière version corrective pour la version qui perd son support. À l'heure où nous écrivons, Flink 2.3.0 est la dernière version stable, et Flink 1.20 est désignée comme la version de support à long terme (LTS) de la branche 1.x.

Avec une version mineure tous les quelques mois environ, une version de Flink sort du support communautaire en bien moins d'un an. Flink 1.19 et les versions antérieures sont des versions non supportées par le projet. Le support communautaire, ce sont les listes de diffusion, Slack et Jira, sans aucun engagement de réponse.

Il est utile de bien cerner ce qui est supporté. Apache Flink est un framework de traitement de flux pour des calculs stateful sur des flux de données, bornés comme non bornés, issu de l'Apache Software Foundation. Les applications Flink s'écrivent avec l'API DataStream, la Table API ou l'interface SQL, en Java ou en Python avec PyFlink, et lisent et écrivent généralement dans Kafka via des connecteurs Flink. Ses fonctionnalités clés sont le traitement en temps d'événement, la gestion d'état exactly-once via les checkpoints et les savepoints, ainsi qu'un débit élevé pour une faible latence. Chacune de ces fonctionnalités est aussi une façon pour un job de mal tourner, ce qui explique que les questions sur la liste de diffusion utilisateurs et sur Stack Overflow portent si souvent sur les checkpoints et l'état. Les committers Flink y répondent quand ils le peuvent. C'est de l'aide, pas du support.

Confluent, Ververica, Amazon Managed Service for Apache Flink et d'autres exploitent Flink en tant que service ou vendent une plateforme supportée. Ils prennent en charge le runtime : le cluster, l'intégration du stockage des checkpoints, les mises à niveau de leurs propres images. Ils ne prennent pas en charge le graphe de votre job. Taille de l'état, stratégie de watermark, sérialisation et comportement des connecteurs relèvent de l'application, et c'est de là que viennent les incidents Flink.

Un job batch en échec peut être relancé le lendemain matin. Un job Flink est une application distribuée de longue durée qui détient un état pouvant représenter des jours d'événements, et chaque redémarrage est une reprise depuis un checkpoint ou un savepoint. Cela change ce en quoi le support doit exceller. Le délai de réponse compte davantage, car le retard s'accumule à chaque minute d'arrêt du job et les systèmes en aval s'en aperçoivent. Le diagnostic exige des personnes qui comprennent le graphe du job, pas seulement le cluster, car un même symptôme, un retard croissant, peut venir d'un sink lent, d'une clé chaude, d'un problème de garbage collection (GC) ou d'une partition Kafka sans trafic. Et les changements sont plus risqués, puisqu'une modification d'état incompatible peut imposer de choisir entre perdre l'état et retraiter l'historique. Demandez à tout prestataire comment il gère la compatibilité des savepoints avant une mise à niveau. Sa réponse vous dira s'il l'a déjà fait.

  • Timeouts de checkpoint. Les checkpoints n'aboutissent plus parce que l'état a grossi, que la contre-pression retarde l'alignement des barrières ou que le stockage des checkpoints est lent. Sans checkpoint récent, un redémarrage rejoue des heures de données. Checkpoints non alignés, checkpoints RocksDB incrémentaux et traitement de la source de contre-pression sont les remèdes habituels.
  • Contre-pression. Un seul opérateur ou sink lent bloque tout le pipeline. L'interface web montre où. Savoir si la solution passe par le parallélisme, un rééquilibrage, des E/S asynchrones ou un sink à traiter par lots demande de l'expérience.
  • Watermarks qui n'avancent plus. Une partition Kafka inactive retient le watermark de tout le job : les fenêtres ne se ferment jamais et les résultats s'arrêtent sans la moindre erreur. La configuration d'inactivité (idleness) règle le problème, encore faut-il que quelqu'un reconnaisse le symptôme.
  • État qui grossit sans fin. Un état indexé par clé sans TTL, ou une jointure non bornée, grossit jusqu'à ce que RocksDB remplisse le disque ou que les limites mémoire tuent le TaskManager.
  • Redémarrages qui perdent l'exactly-once. La compatibilité des savepoints se rompt après la modification d'un opérateur sans UID stables, ou un sink à validation en deux phases laisse des transactions ouvertes après une panne. Résultat : doublons ou trous en aval.
  • Kubernetes et mémoire. Les conteneurs TaskManager sont OOMKilled parce que RocksDB et les buffers réseau utilisent de la mémoire native hors du heap de la JVM, et que le modèle mémoire de Flink est resté aux valeurs par défaut.

Flink 2.0 a été la première version majeure depuis des années, et elle a supprimé une bonne partie de ce qui était obsolète : l'API DataSet, les API Scala, les anciennes interfaces de source et de sink, et de nombreuses clés de configuration historiques. Elle exige aussi une version de Java plus récente. Les jobs écrits avec l'API DataStream et les nouvelles interfaces de source et de sink migrent le plus facilement. Les jobs sur l'API DataSet doivent être réécrits en DataStream en mode batch ou avec la Table API. La compatibilité de l'état d'une version majeure à l'autre n'est pas garantie pour tous les jobs : prévoyez donc un test de migration à partir de savepoints et, en cas d'échec, une bascule avec exécution en parallèle. Flink 1.20 LTS existe pour laisser aux équipes le temps de bien faire les choses, et ce temps est compté.

  • Flink autogéré sur Kubernetes ou YARN, y compris les versions que la communauté ne corrige plus.
  • Support au niveau des jobs sur les plateformes managées, où le fournisseur couvre le cluster et où personne ne couvre les checkpoints, l'état et les watermarks.
  • Les systèmes à chaque extrémité, généralement Kafka en entrée et une base de données ou un data lake en sortie, car les incidents de streaming respectent rarement les frontières entre produits.
  • La migration de 1.x vers 2.x, avec des ingénieurs capables de lire le code des jobs.

AceMQ fournit un support Apache Flink 24/7 avec des objectifs de réponse à partir de 15 minutes, selon le plan, et des ingénieurs seniors attitrés, ainsi qu'un support Kafka pour les pipelines qui l'alimentent. Exemples : la résolution d'un timeout de checkpoint et le support sur les watermarks et les partitions inactives.

Support AceMQ Apache Flink : première réponse selon la gravitéObjectifs de réponse selon le plan ; votre contrat fixe le niveau.
GravitéPremière réponseIncident type
P1 — UrgenceÀ partir de 15 min (selon le plan)Production à l'arrêt, flux de données interrompu, défaillance du cluster ou d'un nœud
P2 — Critique1 heureDégradation sévère, taux d'erreur en hausse, limites de capacité bientôt atteintes
P3 — Élevée4 heuresProblèmes de performance, problèmes de configuration, défaillances non critiques
P4 — StandardJour suivantQuestions, conseils, bonnes pratiques, améliorations non urgentes

Questions fréquentes

Quelles entreprises proposent du support Apache Flink ?

La communauté Apache Flink supporte la version mineure actuelle et la précédente, sans délai de réponse. Les éditeurs de services Flink managés supportent leurs propres plateformes. Des prestataires indépendants comme AceMQ prennent en charge Flink autogéré et les jobs qui tournent sur n'importe quelle plateforme.

Quelles versions de Flink sont supportées ?

La communauté fournit des correctifs pour la version mineure actuelle et la précédente. À l'heure où nous écrivons, Flink 2.3.0 est la dernière version stable et Flink 1.20 est la version de support à long terme de la branche 1.x.

Flink 1.x est-il encore supporté ?

Flink 1.20 est désignée comme la version LTS de la branche 1.x. Les versions 1.x antérieures ne sont plus supportées par le projet.

Un service Flink managé prend-il en charge mes jobs de streaming ?

Il prend en charge le runtime et le cluster. Le réglage des checkpoints, la croissance de l'état, les watermarks et le comportement des connecteurs dans votre job restent sous votre responsabilité ou celle de votre prestataire de support.

Existe-t-il un support commercial pour Apache Flink open source ?

Oui. Les éditeurs de plateformes supportent leurs propres distributions, et des prestataires indépendants proposent des contrats de support pour Flink autogéré, quelle que soit la version.

Tyler Eastridge

Auteur

Tyler EastridgeDirecteur des opérations

Directeur des opérations chez AceMQ. Il signe ici les contenus commerciaux : licences RabbitMQ et VMware, tarifs, renouvellements et modèles de support.

Parler à un ingénieur

Besoin d’un coup de main sur Apache Flink ?

Des ingénieurs seniors qui l’exploitent en production. Demandez un devis ou une consultation gratuite, sans argumentaire commercial.

Consultation gratuite

Un regard expert sur votre environnement Apache Flink

Que vous deviez résoudre un incident de production, planifier une migration ou obtenir un second avis sur votre architecture, notre équipe est prête. Pas d’argumentaire commercial, seulement des réponses.

Nous écrire