Überblick
Unity Catalog ersetzt die Hive-Metastores pro Workspace durch einen Katalog auf Account-Ebene mit Lineage, Kontrollen auf Zeilen- und Spaltenebene und einem einheitlichen Berechtigungsmodell. Im Prinzip ist die Migration unkompliziert, in der Praxis unübersichtlich – denn zuerst müssen jahrelang gewachsene Tabellen, Mount Points und fest codierte Pfade bereinigt werden.
Herausforderung
Legacy-Workspaces haben typischerweise Hunderte Tabellen, die gegen DBFS-Mounts registriert sind, eine Mischung aus Managed und External Tables mit unklarer Verantwortung und Notebooks, die zweistufige Namen referenzieren, die der dreistufige Namespace von Unity Catalog nicht akzeptiert. Die Zugriffskontrolle steckt in Cluster-ACLs und Instance Profiles, die Auditoren nur schwer nachvollziehen können. Eine Umstellung auf einen Schlag kommt nicht infrage, wenn dieselben Tabellen ins regulatorische Reporting einfließen.
Umgebung
Databricks-Workspaces auf AWS oder Azure mit bestehendem Hive-Metastore, DBFS-Mounts und gemischten Managed und External Delta Tables.
Vorgehen
AceMQ inventarisiert den bestehenden Metastore, klassifiziert jede Tabelle nach Speicherort und Verantwortung und bildet Cloud-Storage-Pfade auf External Locations und Storage Credentials in Unity Catalog ab. Die Tabellen ziehen in Wellen nach Fachdomäne um und laufen parallel gegen beide Metastores, bis die Consumer umgestellt sind. Berechtigungen werden aus Gruppenmitgliedschaften neu aufgebaut, statt Tabelle für Tabelle kopiert zu werden – so bleibt das entstehende Modell prüfbar.
Lösung
- Vollständige Inventur des Metastores mit Klassifizierung nach Managed und External Tables, Speicherpfaden und aktiven Consumern
- Design von External Locations und Storage Credentials, abgebildet auf die bestehenden IAM-Grenzen in der Cloud
- Tabellen-Upgrade in Wellen mit doppelter Registrierung, damit Consumer nach eigenem Zeitplan migrieren
- Scan von Notebooks und Jobs nach zweistufigen Tabellenreferenzen und DBFS-Mount-Pfaden, die umgeschrieben werden müssen
- Gruppenbasiertes Berechtigungsmodell mit Privilegien auf Katalog-, Schema- und Tabellenebene, definiert in Terraform
- Validierung von Lineage und Audit-Logs gegen die Compliance-Nachweise, die das Team tatsächlich erbringen muss
Resultat
Kunden erhalten einen einheitlich gesteuerten Katalog über alle Workspaces, Zugriffsentscheidungen als Gruppenberechtigungen statt als Cluster-Konfiguration und Lineage für Audits. Die Teams migrieren Domäne für Domäne, statt ein einziges riskantes Umstellungswochenende zu stemmen.