Retour à tous les cas d'usage

AuditÉnergie / services publics

L'inventaire et le calendrier dont vous avez besoin avant de vous engager dans une sortie de Hadoop

Opérateur régional de services publics

Établir ce qui tourne réellement sur un cluster Hadoop, ce que coûte son maintien, et à quoi ressemblent une séquence et un calendrier de migration défendables.

Présentation

Avant d'engager un budget dans une migration Hadoop, la direction a besoin d'une réponse étayée par des faits : ce qui se trouve sur le cluster, ce qui compte encore et combien de temps prendra la sortie. AceMQ produit cet inventaire ainsi qu'un plan séquencé assorti d'estimations de charge.

Défi

L'état réel du cluster n'est pas documenté. Personne ne peut dire lesquelles des milliers de tables Hive sont encore lues, quelles files d'attente YARN portent des traitements de production plutôt que des expérimentations abandonnées, ni quels jobs alimentent le reporting réglementaire et ne peuvent donc pas être interrompus. Sans ces informations, les estimations ne sont que des suppositions, et les programmes de migration bâtis sur des suppositions dérapent.

Environnement

Clusters Hadoop sur site avec HDFS, Hive, YARN et un mélange de charges Spark, MapReduce et Hive, sous une distribution commerciale ou communautaire.

Approche

AceMQ exploite les propres logs d'audit et de requêtes du cluster sur une période représentative, plutôt que de s'appuyer sur des entretiens. Chaque table reçoit une date de dernière lecture et une liste de consommateurs ; chaque job, un profil de durée d'exécution, de ressources et de criticité. Le coût d'exploitation est modélisé en incluant le matériel, le support, l'énergie et le temps du personnel absorbé par la maintenance du cluster, puis comparé à celui de la plateforme cible.

Solution

  1. Profilage des accès au niveau des tables à partir des logs d'audit HDFS et de HiveServer2, attribuant à chaque jeu de données une date de dernière lecture et une liste de consommateurs
  2. Inventaire des jobs sur l'ensemble des files d'attente YARN, avec leur durée d'exécution, leur empreinte en ressources et une classification de leur criticité métier
  3. Modèle de coût de l'existant couvrant le renouvellement du matériel, le support de la distribution, l'énergie et les baies, et le temps du personnel d'exploitation
  4. Revue des versions et de l'exposition aux CVE sur l'ensemble des composants de la distribution
  5. Séquencement des vagues de migration selon la profondeur des dépendances et le risque métier, avec des estimations de charge par vague
  6. Recommandation de retrait ou de migration pour chaque jeu de données et chaque job, les données dormantes étant signalées pour archivage plutôt que pour migration

Résultat obtenu

Les clients obtiennent un business case de migration défendable, appuyé sur des données d'accès mesurées plutôt que sur des estimations, et un plan par vagues qu'il est possible de doter en ressources. À lui seul, le constat sur les données dormantes retire généralement une part importante du périmètre de migration supposé.

Technologies

Apache HadoopApache HiveApache SparkYARN

Prêt pour un bilan de santé Apache Hadoop ?

Les ingénieurs Apache Hadoop seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.