Torna a tutti i casi d'uso

AssessmentEnergia / Utility

L'inventario e la tempistica necessari prima di impegnarsi nell'uscita da Hadoop

Operatore regionale di servizi di pubblica utilità

Definire che cosa giri davvero su un cluster Hadoop, quanto costi mantenerlo e come si presentino una sequenza e una tempistica di migrazione difendibili.

Panoramica

Prima di stanziare il budget per una migrazione da Hadoop, il management ha bisogno di una risposta basata su dati concreti: che cosa c'è sul cluster, che cosa conta ancora e quanto durerà l'uscita. AceMQ produce questo inventario e un piano sequenziato con le stime dell'impegno.

Sfida

Lo stato reale del cluster non è documentato. Nessuno sa dire quali delle diverse migliaia di tabelle Hive vengano ancora lette, quali code YARN gestiscano lavoro di produzione e quali esperimenti abbandonati, o quali job alimentino il reporting regolamentare e quindi non possano essere interrotti. Le stime formulate senza queste informazioni sono congetture, e i programmi di migrazione costruiti su congetture si allungano.

Ambiente

Cluster Hadoop on-premises con HDFS, Hive, YARN e workload misti Spark, MapReduce e Hive, su una distribuzione commerciale o della community.

Approccio

AceMQ strumenta i log di audit e delle query del cluster stesso per un periodo rappresentativo, anziché affidarsi alle interviste. Ogni tabella riceve un timestamp dell'ultima lettura e un elenco dei consumer; ogni job un profilo di durata, risorse e criticità. Il costo operativo viene modellato includendo hardware, supporto, energia e il tempo del personale assorbito dalla manutenzione del cluster, e confrontato con quello della piattaforma di destinazione.

Soluzione

  1. Profilazione degli accessi a livello di tabella dai log di audit di HDFS e di HiveServer2, con data dell'ultima lettura ed elenco dei consumer per ogni dataset
  2. Inventario dei job su tutte le code YARN con durata, footprint di risorse e classificazione della criticità per il business
  3. Modello dei costi attuali che copre rinnovo dell'hardware, supporto della distribuzione, energia e rack, e tempo del personale operativo
  4. Revisione delle versioni e dell'esposizione alle CVE sull'intero stack di componenti della distribuzione
  5. Sequenziamento delle ondate di migrazione ordinato per profondità delle dipendenze e rischio per il business, con stime dell'impegno per ciascuna ondata
  6. Raccomandazione di dismissione o migrazione per ogni dataset e job, con i dati inattivi segnalati per l'archiviazione anziché per la migrazione

Esito

I clienti ottengono un business case di migrazione difendibile, sostenuto da dati di accesso misurati invece che da stime, e un piano a ondate a cui assegnare risorse. Il solo dato sui dati inattivi elimina di solito una parte consistente del perimetro di migrazione ipotizzato.

Tecnologie

Apache HadoopApache HiveApache SparkYARN

Pronti per un health check di Apache Hadoop?

Gli ingegneri Apache Hadoop senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.