Panoramica
Unity Catalog sostituisce gli Hive metastore di ciascun workspace con un catalogo a livello di account che porta con sé lineage, controlli su righe e colonne e un unico modello di grant. In teoria la migrazione è semplice, in pratica è complicata, perché prima occorre riconciliare anni di tabelle, mount point e path scritti nel codice.
Sfida
I workspace legacy hanno in genere centinaia di tabelle registrate su mount DBFS, un mix di tabelle managed ed external con ownership poco chiara e notebook che fanno riferimento a nomi a due livelli che il namespace a tre livelli di Unity Catalog non accetta. Il controllo degli accessi vive in ACL a livello di cluster e in instance profile che gli auditor faticano a leggere. Un passaggio in un colpo solo non è un'opzione quando le stesse tabelle alimentano la reportistica regolamentata.
Ambiente
Workspace Databricks su AWS o Azure con un Hive metastore esistente, mount DBFS e tabelle Delta in parte managed e in parte external.
Approccio
AceMQ censisce il metastore esistente, classifica ogni tabella per posizione di storage e ownership e mappa i path dello storage cloud su external location e storage credential di Unity Catalog. Le tabelle vengono spostate a ondate per dominio, operando in parallelo su entrambi i metastore finché i consumer non vengono migrati. I grant vengono ricostruiti a partire dall'appartenenza ai gruppi invece di essere replicati tabella per tabella, così il modello risultante è verificabile.
Soluzione
- Inventario completo del metastore con classificazione di tabelle managed ed external, path di storage e consumer attivi
- Progettazione di external location e storage credential mappate sui confini IAM cloud esistenti
- Upgrade delle tabelle a ondate con doppia registrazione, così i consumer migrano secondo i propri tempi
- Scansione di notebook e job per individuare riferimenti a tabelle a due livelli e path di mount DBFS da riscrivere
- Modello di grant basato sui gruppi, con privilegi su catalog, schema e tabelle definiti in Terraform
- Validazione di lineage e audit log rispetto alle evidenze di conformità che il team deve effettivamente produrre
Esito
I clienti ottengono un unico catalogo governato tra i workspace, decisioni di accesso espresse come grant ai gruppi invece che come configurazione dei cluster e lineage disponibile per gli audit. I team migrano dominio per dominio, invece di affrontare un unico weekend di cutover ad alto rischio.