Zurück zu allen Kundenbeispielen

BeratungGesundheitswesen / Sozialleistungen

Weg vom Hive-Metastore, ohne jeden Job im Workspace zu brechen

Anbieter von Analytics für das Gesundheitswesen

Migration vom Legacy-Hive-Metastore auf Unity Catalog mit Mapping der External Locations, Tabellen-Upgrades und einem Berechtigungsmodell, das jedem Audit standhält.

Überblick

Unity Catalog ersetzt die Hive-Metastores pro Workspace durch einen Katalog auf Account-Ebene mit Lineage, Kontrollen auf Zeilen- und Spaltenebene und einem einheitlichen Berechtigungsmodell. Im Prinzip ist die Migration unkompliziert, in der Praxis unübersichtlich – denn zuerst müssen jahrelang gewachsene Tabellen, Mount Points und fest codierte Pfade bereinigt werden.

Herausforderung

Legacy-Workspaces haben typischerweise Hunderte Tabellen, die gegen DBFS-Mounts registriert sind, eine Mischung aus Managed und External Tables mit unklarer Verantwortung und Notebooks, die zweistufige Namen referenzieren, die der dreistufige Namespace von Unity Catalog nicht akzeptiert. Die Zugriffskontrolle steckt in Cluster-ACLs und Instance Profiles, die Auditoren nur schwer nachvollziehen können. Eine Umstellung auf einen Schlag kommt nicht infrage, wenn dieselben Tabellen ins regulatorische Reporting einfließen.

Umgebung

Databricks-Workspaces auf AWS oder Azure mit bestehendem Hive-Metastore, DBFS-Mounts und gemischten Managed und External Delta Tables.

Vorgehen

AceMQ inventarisiert den bestehenden Metastore, klassifiziert jede Tabelle nach Speicherort und Verantwortung und bildet Cloud-Storage-Pfade auf External Locations und Storage Credentials in Unity Catalog ab. Die Tabellen ziehen in Wellen nach Fachdomäne um und laufen parallel gegen beide Metastores, bis die Consumer umgestellt sind. Berechtigungen werden aus Gruppenmitgliedschaften neu aufgebaut, statt Tabelle für Tabelle kopiert zu werden – so bleibt das entstehende Modell prüfbar.

Lösung

  1. Vollständige Inventur des Metastores mit Klassifizierung nach Managed und External Tables, Speicherpfaden und aktiven Consumern
  2. Design von External Locations und Storage Credentials, abgebildet auf die bestehenden IAM-Grenzen in der Cloud
  3. Tabellen-Upgrade in Wellen mit doppelter Registrierung, damit Consumer nach eigenem Zeitplan migrieren
  4. Scan von Notebooks und Jobs nach zweistufigen Tabellenreferenzen und DBFS-Mount-Pfaden, die umgeschrieben werden müssen
  5. Gruppenbasiertes Berechtigungsmodell mit Privilegien auf Katalog-, Schema- und Tabellenebene, definiert in Terraform
  6. Validierung von Lineage und Audit-Logs gegen die Compliance-Nachweise, die das Team tatsächlich erbringen muss

Resultat

Kunden erhalten einen einheitlich gesteuerten Katalog über alle Workspaces, Zugriffsentscheidungen als Gruppenberechtigungen statt als Cluster-Konfiguration und Lineage für Audits. Die Teams migrieren Domäne für Domäne, statt ein einziges riskantes Umstellungswochenende zu stemmen.

Technologien

DatabricksDelta LakeApache SparkTerraform

Brauchen Sie Architekturberatung für Databricks?

Die Senior Engineers von AceMQ für Databricks haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.