Torna a tutti i casi d'uso

ConsulenzaTrasversale

Lasciare Hadoop in modo pianificato, prima che il rinnovo dell'hardware imponga la decisione

Compagnia assicurativa nazionale

L'abbandono di un cluster Hadoop datato a favore di object storage e formati di tabella aperti, con i workload Hive, MapReduce e Oozie tradotti anziché trasferiti così come sono.

Panoramica

La maggior parte dei cluster Hadoop oggi in esercizio vive in tempo supplementare: il vendor della distribuzione è cambiato, l'hardware deve essere rinnovato e le competenze operative se ne vanno da anni. AceMQ pianifica ed esegue la migrazione verso object storage con formati di tabella aperti, traducendo i workload invece di trasferirli in una forma che andrebbe migrata di nuovo.

Sfida

Un parco Hadoop di dieci anni contiene migliaia di tabelle Hive, job MapReduce i cui autori se ne sono andati, coordinator Oozie che nessuno comprende fino in fondo e un'autorizzazione basata su Kerberos espressa in policy Ranger che non si mappano in modo pulito sull'IAM del cloud. Nulla può essere spento finché non se ne individuano i consumatori, e l'elenco dei consumatori non è scritto da nessuna parte. A forzare i tempi è di solito una data di fine vita dell'hardware, che lascia meno tempo di quanto il lavoro richieda.

Ambiente

Distribuzioni Hadoop on-premise con HDFS, Hive, YARN, MapReduce, Oozie e Ranger, in migrazione verso object storage cloud con Delta Lake o Iceberg.

Approccio

AceMQ parte dalla mappatura delle dipendenze a partire dai log delle query di HiveServer2, dagli audit log di HDFS e dallo storico dello scheduler, per stabilire che cosa viene effettivamente letto e da chi: di solito una frazione di ciò che esiste. I workload migrano per dominio, a ondate, con validazione in esecuzione parallela; le query MapReduce e Hive vengono tradotte in Spark SQL invece di essere emulate e le policy Ranger vengono ricostruite come grant a livello di catalogo. La dismissione è pianificata dominio per dominio, una volta che i consumatori confermano il cutover.

Soluzione

  1. Mappatura delle dipendenze dai log delle query di HiveServer2, dagli audit log di HDFS e dallo storico di Oozie, per distinguere i dataset attivi da quelli inutilizzati
  2. Scelta del formato di tabella e riprogettazione delle partizioni per l'object storage, in sostituzione dei layout dell'era HDFS che presuppongono un disco locale
  3. Traduzione dei workload MapReduce e Hive in Spark SQL, con le UDF legacy portate o sostituite anziché incapsulate
  4. Conversione dei coordinator Oozie in DAG Airflow, preservando la semantica delle dipendenze
  5. Autorizzazioni Ranger e Kerberos ricostruite come grant a livello di catalogo mappati sui gruppi di identità esistenti
  6. Cutover a ondate con riconciliazione in esecuzione parallela e calendario di dismissione per dominio

Esito

I clienti escono dall'impegno su hardware e supporto Hadoop secondo un calendario pianificato, non sotto la pressione del rinnovo, e approdano su una piattaforma in cui storage e calcolo scalano in modo indipendente. La mappatura delle dipendenze mostra regolarmente che una quota consistente dei dati archiviati non ha alcun consumatore attivo e non ha bisogno di essere spostata.

Tecnologie

Apache HadoopApache SparkDelta LakeApache Airflow

Vi servono indicazioni sull'architettura Apache Hadoop?

Gli ingegneri Apache Hadoop senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.