Retour à tous les cas d'usage

ConseilSanté / prévoyance

Quitter le metastore Hive sans casser tous les jobs de l'espace de travail

Fournisseur d'analytique de santé

Migration depuis l'ancien metastore Hive vers Unity Catalog, avec mise en correspondance des external locations, mise à niveau des tables et un modèle de droits qui résiste à l'audit.

Présentation

Unity Catalog remplace les metastores Hive propres à chaque espace de travail par un catalogue au niveau du compte, qui porte le lignage, les contrôles au niveau des lignes et des colonnes, et un modèle de droits unique. La migration est simple sur le principe et laborieuse en pratique, car il faut d'abord remettre en ordre des années de tables, de points de montage et de chemins codés en dur.

Défi

Les anciens espaces de travail comptent généralement des centaines de tables enregistrées sur des montages DBFS, un mélange de tables managées et externes dont la propriété est floue, et des notebooks qui référencent des noms à deux niveaux que l'espace de noms à trois niveaux d'Unity Catalog n'accepte pas. Le contrôle d'accès repose sur des ACL au niveau des clusters et des instance profiles que les auditeurs ont du mal à lire. Une bascule en une seule fois est exclue lorsque ces mêmes tables alimentent des rapports réglementaires.

Environnement

Espaces de travail Databricks sur AWS ou Azure avec un metastore Hive existant, des montages DBFS et un mélange de tables Delta managées et externes.

Approche

AceMQ inventorie le metastore existant, classe chaque table selon son emplacement de stockage et son propriétaire, et fait correspondre les chemins de stockage cloud à des external locations et storage credentials Unity Catalog. Les tables migrent par vagues, domaine par domaine, en fonctionnant en parallèle sur les deux metastores jusqu'à la bascule des consommateurs. Les droits sont reconstruits à partir de l'appartenance aux groupes plutôt que recopiés table par table, afin que le modèle obtenu puisse être relu.

Solution

  1. Inventaire complet du metastore, classant tables managées et externes, chemins de stockage et consommateurs actifs
  2. Conception des external locations et des storage credentials alignée sur les frontières IAM cloud existantes
  3. Mise à niveau des tables par vagues avec double enregistrement, pour que les consommateurs migrent à leur propre rythme
  4. Analyse des notebooks et des jobs pour repérer les références de tables à deux niveaux et les chemins de montage DBFS à réécrire
  5. Modèle de droits par groupes, avec privilèges sur les catalogues, schémas et tables définis dans Terraform
  6. Validation du lignage et des journaux d'audit au regard des preuves de conformité que l'équipe doit réellement produire

Résultat obtenu

Les clients disposent d'un catalogue unique et gouverné pour tous leurs espaces de travail, de décisions d'accès exprimées sous forme de droits par groupe plutôt que de configuration de clusters, et d'un lignage disponible pour l'audit. Les équipes migrent domaine par domaine au lieu d'encaisser un week-end de bascule à haut risque.

Technologies

DatabricksDelta LakeApache SparkTerraform

Besoin de conseils en architecture Databricks ?

Les ingénieurs Databricks seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.