Panoramica
La maggior parte dei cluster Hadoop oggi in esercizio vive in tempo supplementare: il vendor della distribuzione è cambiato, l'hardware deve essere rinnovato e le competenze operative se ne vanno da anni. AceMQ pianifica ed esegue la migrazione verso object storage con formati di tabella aperti, traducendo i workload invece di trasferirli in una forma che andrebbe migrata di nuovo.
Sfida
Un parco Hadoop di dieci anni contiene migliaia di tabelle Hive, job MapReduce i cui autori se ne sono andati, coordinator Oozie che nessuno comprende fino in fondo e un'autorizzazione basata su Kerberos espressa in policy Ranger che non si mappano in modo pulito sull'IAM del cloud. Nulla può essere spento finché non se ne individuano i consumatori, e l'elenco dei consumatori non è scritto da nessuna parte. A forzare i tempi è di solito una data di fine vita dell'hardware, che lascia meno tempo di quanto il lavoro richieda.
Ambiente
Distribuzioni Hadoop on-premise con HDFS, Hive, YARN, MapReduce, Oozie e Ranger, in migrazione verso object storage cloud con Delta Lake o Iceberg.
Approccio
AceMQ parte dalla mappatura delle dipendenze a partire dai log delle query di HiveServer2, dagli audit log di HDFS e dallo storico dello scheduler, per stabilire che cosa viene effettivamente letto e da chi: di solito una frazione di ciò che esiste. I workload migrano per dominio, a ondate, con validazione in esecuzione parallela; le query MapReduce e Hive vengono tradotte in Spark SQL invece di essere emulate e le policy Ranger vengono ricostruite come grant a livello di catalogo. La dismissione è pianificata dominio per dominio, una volta che i consumatori confermano il cutover.
Soluzione
- Mappatura delle dipendenze dai log delle query di HiveServer2, dagli audit log di HDFS e dallo storico di Oozie, per distinguere i dataset attivi da quelli inutilizzati
- Scelta del formato di tabella e riprogettazione delle partizioni per l'object storage, in sostituzione dei layout dell'era HDFS che presuppongono un disco locale
- Traduzione dei workload MapReduce e Hive in Spark SQL, con le UDF legacy portate o sostituite anziché incapsulate
- Conversione dei coordinator Oozie in DAG Airflow, preservando la semantica delle dipendenze
- Autorizzazioni Ranger e Kerberos ricostruite come grant a livello di catalogo mappati sui gruppi di identità esistenti
- Cutover a ondate con riconciliazione in esecuzione parallela e calendario di dismissione per dominio
Esito
I clienti escono dall'impegno su hardware e supporto Hadoop secondo un calendario pianificato, non sotto la pressione del rinnovo, e approdano su una piattaforma in cui storage e calcolo scalano in modo indipendente. La mappatura delle dipendenze mostra regolarmente che una quota consistente dei dati archiviati non ha alcun consumatore attivo e non ha bisogno di essere spostata.