Panoramica
Prima di stanziare il budget per una migrazione da Hadoop, il management ha bisogno di una risposta basata su dati concreti: che cosa c'è sul cluster, che cosa conta ancora e quanto durerà l'uscita. AceMQ produce questo inventario e un piano sequenziato con le stime dell'impegno.
Sfida
Lo stato reale del cluster non è documentato. Nessuno sa dire quali delle diverse migliaia di tabelle Hive vengano ancora lette, quali code YARN gestiscano lavoro di produzione e quali esperimenti abbandonati, o quali job alimentino il reporting regolamentare e quindi non possano essere interrotti. Le stime formulate senza queste informazioni sono congetture, e i programmi di migrazione costruiti su congetture si allungano.
Ambiente
Cluster Hadoop on-premises con HDFS, Hive, YARN e workload misti Spark, MapReduce e Hive, su una distribuzione commerciale o della community.
Approccio
AceMQ strumenta i log di audit e delle query del cluster stesso per un periodo rappresentativo, anziché affidarsi alle interviste. Ogni tabella riceve un timestamp dell'ultima lettura e un elenco dei consumer; ogni job un profilo di durata, risorse e criticità. Il costo operativo viene modellato includendo hardware, supporto, energia e il tempo del personale assorbito dalla manutenzione del cluster, e confrontato con quello della piattaforma di destinazione.
Soluzione
- Profilazione degli accessi a livello di tabella dai log di audit di HDFS e di HiveServer2, con data dell'ultima lettura ed elenco dei consumer per ogni dataset
- Inventario dei job su tutte le code YARN con durata, footprint di risorse e classificazione della criticità per il business
- Modello dei costi attuali che copre rinnovo dell'hardware, supporto della distribuzione, energia e rack, e tempo del personale operativo
- Revisione delle versioni e dell'esposizione alle CVE sull'intero stack di componenti della distribuzione
- Sequenziamento delle ondate di migrazione ordinato per profondità delle dipendenze e rischio per il business, con stime dell'impegno per ciascuna ondata
- Raccomandazione di dismissione o migrazione per ogni dataset e job, con i dati inattivi segnalati per l'archiviazione anziché per la migrazione
Esito
I clienti ottengono un business case di migrazione difendibile, sostenuto da dati di accesso misurati invece che da stime, e un piano a ondate a cui assegnare risorse. Il solo dato sui dati inattivi elimina di solito una parte consistente del perimetro di migrazione ipotizzato.