Retour à tous les cas d'usage

ConseilMultisectoriel

Quitter Hadoop de façon maîtrisée, avant que le renouvellement du matériel n'impose la décision

Assureur national

Sortie d'un cluster Hadoop vieillissant vers le stockage objet et des formats de tables ouverts, avec des workloads Hive, MapReduce et Oozie traduits plutôt que transposés tels quels.

Présentation

La plupart des clusters Hadoop encore en service vivent en sursis : l'éditeur de la distribution a changé, le matériel arrive en fin de cycle et les compétences d'exploitation s'en vont depuis des années. AceMQ planifie et exécute la migration vers le stockage objet avec des formats de tables ouverts, en traduisant les workloads plutôt qu'en les transposant dans une forme qu'il faudra de nouveau migrer.

Défi

Un parc Hadoop de dix ans compte des milliers de tables Hive, des jobs MapReduce dont les auteurs sont partis, des coordinateurs Oozie que personne ne comprend entièrement, et une autorisation adossée à Kerberos exprimée dans des policies Ranger qui ne se transposent pas proprement vers l'IAM cloud. Rien ne peut être arrêté tant que ses consommateurs n'ont pas été identifiés, et la liste de ces consommateurs n'est écrite nulle part. L'élément déclencheur est généralement une date de fin de vie du matériel, qui laisse moins de temps que le travail n'en exige.

Environnement

Distributions Hadoop on-premise avec HDFS, Hive, YARN, MapReduce, Oozie et Ranger, en migration vers un stockage objet cloud avec Delta Lake ou Iceberg.

Approche

AceMQ commence par une découverte des dépendances à partir des logs de requêtes HiveServer2, des logs d'audit HDFS et de l'historique de l'ordonnanceur, afin d'établir ce qui est réellement lu, et par qui : en général, une fraction de ce qui existe. Les workloads migrent par domaine, en vagues, avec une validation en double exécution ; les requêtes MapReduce et Hive sont traduites en Spark SQL plutôt qu'émulées, et les policies Ranger sont reconstruites sous forme de droits au niveau du catalogue. Le décommissionnement est planifié domaine par domaine, une fois que les consommateurs ont confirmé la bascule.

Solution

  1. Découverte des dépendances à partir des logs de requêtes HiveServer2, des logs d'audit HDFS et de l'historique Oozie, pour distinguer les jeux de données actifs des jeux de données dormants
  2. Choix du format de table et refonte du partitionnement pour le stockage objet, en remplacement des organisations héritées de HDFS qui supposent un disque local
  3. Traduction des workloads MapReduce et Hive en Spark SQL, avec des UDF historiques portées ou remplacées plutôt qu'encapsulées
  4. Conversion des coordinateurs Oozie en DAG Airflow, en préservant la sémantique des dépendances
  5. Autorisations Ranger et Kerberos reconstruites sous forme de droits au niveau du catalogue, rattachés aux groupes d'identité existants
  6. Bascule par vagues avec rapprochement en double exécution et calendrier de décommissionnement par domaine

Résultat obtenu

Les clients sortent du matériel et de l'engagement de support Hadoop selon un calendrier planifié plutôt que sous la pression d'un renouvellement, et arrivent sur une plateforme où stockage et calcul évoluent indépendamment. La découverte des dépendances montre régulièrement qu'une grande part des données stockées n'a aucun consommateur actif et n'a jamais besoin d'être migrée.

Technologies

Apache HadoopApache SparkDelta LakeApache Airflow

Besoin de conseils en architecture Apache Hadoop ?

Les ingénieurs Apache Hadoop seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.