Torna a tutti i casi d'uso

ConsulenzaSanità / Benefit

Abbandonare l'Hive metastore senza rompere ogni job del workspace

Fornitore di analytics in ambito sanitario

Migrazione dal vecchio Hive metastore a Unity Catalog con mappatura delle external location, upgrade delle tabelle e un modello di grant in grado di superare un audit.

Panoramica

Unity Catalog sostituisce gli Hive metastore di ciascun workspace con un catalogo a livello di account che porta con sé lineage, controlli su righe e colonne e un unico modello di grant. In teoria la migrazione è semplice, in pratica è complicata, perché prima occorre riconciliare anni di tabelle, mount point e path scritti nel codice.

Sfida

I workspace legacy hanno in genere centinaia di tabelle registrate su mount DBFS, un mix di tabelle managed ed external con ownership poco chiara e notebook che fanno riferimento a nomi a due livelli che il namespace a tre livelli di Unity Catalog non accetta. Il controllo degli accessi vive in ACL a livello di cluster e in instance profile che gli auditor faticano a leggere. Un passaggio in un colpo solo non è un'opzione quando le stesse tabelle alimentano la reportistica regolamentata.

Ambiente

Workspace Databricks su AWS o Azure con un Hive metastore esistente, mount DBFS e tabelle Delta in parte managed e in parte external.

Approccio

AceMQ censisce il metastore esistente, classifica ogni tabella per posizione di storage e ownership e mappa i path dello storage cloud su external location e storage credential di Unity Catalog. Le tabelle vengono spostate a ondate per dominio, operando in parallelo su entrambi i metastore finché i consumer non vengono migrati. I grant vengono ricostruiti a partire dall'appartenenza ai gruppi invece di essere replicati tabella per tabella, così il modello risultante è verificabile.

Soluzione

  1. Inventario completo del metastore con classificazione di tabelle managed ed external, path di storage e consumer attivi
  2. Progettazione di external location e storage credential mappate sui confini IAM cloud esistenti
  3. Upgrade delle tabelle a ondate con doppia registrazione, così i consumer migrano secondo i propri tempi
  4. Scansione di notebook e job per individuare riferimenti a tabelle a due livelli e path di mount DBFS da riscrivere
  5. Modello di grant basato sui gruppi, con privilegi su catalog, schema e tabelle definiti in Terraform
  6. Validazione di lineage e audit log rispetto alle evidenze di conformità che il team deve effettivamente produrre

Esito

I clienti ottengono un unico catalogo governato tra i workspace, decisioni di accesso espresse come grant ai gruppi invece che come configurazione dei cluster e lineage disponibile per gli audit. I team migrano dominio per dominio, invece di affrontare un unico weekend di cutover ad alto rischio.

Tecnologie

DatabricksDelta LakeApache SparkTerraform

Vi servono indicazioni sull'architettura Databricks?

Gli ingegneri Databricks senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.