Volver a todos los casos de uso

ConsultoríaSanidad / Beneficios sociales

Abandonar el Hive metastore sin romper todos los jobs del workspace

Proveedor de analítica sanitaria

Migración desde el Hive metastore heredado a Unity Catalog, con mapeo de external locations, actualización de tablas y un modelo de permisos que supera una auditoría.

Descripción general

Unity Catalog sustituye los Hive metastores de cada workspace por un catálogo a nivel de cuenta que incorpora linaje, controles por fila y por columna y un único modelo de permisos. La migración es sencilla en teoría y complicada en la práctica, porque antes hay que poner en orden años de tablas, puntos de montaje y rutas escritas a mano en el código.

Reto

Los workspaces heredados suelen tener cientos de tablas registradas sobre montajes de DBFS, una mezcla de tablas gestionadas y externas sin un propietario claro y notebooks que hacen referencia a nombres de dos niveles que el namespace de tres niveles de Unity Catalog no acepta. El control de acceso reside en ACL a nivel de clúster y en instance profiles que los auditores no pueden leer con facilidad. Hacer el cambio de una sola vez no es una opción cuando esas mismas tablas alimentan informes regulatorios.

Entorno

Workspaces de Databricks en AWS o Azure con un Hive metastore existente, montajes de DBFS y una mezcla de tablas Delta gestionadas y externas.

Enfoque

AceMQ inventaría el metastore existente, clasifica cada tabla por ubicación de almacenamiento y propietario, y hace corresponder las rutas de almacenamiento en la nube con external locations y storage credentials de Unity Catalog. Las tablas se trasladan por oleadas y por dominio, funcionando en paralelo con ambos metastores hasta que se migran los consumidores. Los permisos se reconstruyen a partir de la pertenencia a grupos en lugar de replicarse tabla por tabla, de modo que el modelo resultante se puede revisar.

Solución

  1. Inventario completo del metastore que clasifica tablas gestionadas y externas, rutas de almacenamiento y consumidores activos
  2. Diseño de external locations y storage credentials alineado con los límites de IAM existentes en la nube
  3. Actualización de tablas por oleadas con doble registro, para que los consumidores migren a su propio ritmo
  4. Análisis de notebooks y jobs para localizar referencias a tablas con nombres de dos niveles y rutas de montaje de DBFS que hay que reescribir
  5. Modelo de permisos basado en grupos, con privilegios de catálogo, esquema y tabla definidos en Terraform
  6. Validación del linaje y de los logs de auditoría frente a las evidencias de cumplimiento que el equipo tiene que presentar realmente

Resultado final

Los clientes obtienen un único catálogo gobernado para todos sus workspaces, decisiones de acceso expresadas como permisos de grupo en lugar de configuración de clúster y linaje disponible para las auditorías. Los equipos migran dominio a dominio en lugar de asumir un único fin de semana de cambio de alto riesgo.

Tecnologías

DatabricksDelta LakeApache SparkTerraform

¿Necesita asesoramiento de arquitectura para Databricks?

Los ingenieros sénior de Databricks de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.