Volver a todos los casos de uso

ConsultoríaSalud / Beneficios

Deje el Hive metastore sin romper cada job del workspace

Proveedor de analítica para el sector salud

Migración del Hive metastore heredado a Unity Catalog, con mapeo de external locations, actualización de tablas y un modelo de permisos que resiste una auditoría.

Descripción general

Unity Catalog reemplaza los Hive metastores por workspace con un catálogo a nivel de cuenta que incluye lineage, controles por fila y por columna, y un único modelo de permisos. La migración es sencilla en teoría y complicada en la práctica, porque primero hay que conciliar años de tablas, puntos de montaje y rutas escritas a mano en el código.

Desafío

Los workspaces heredados suelen tener cientos de tablas registradas sobre montajes de DBFS, una mezcla de tablas managed y external sin un propietario claro, y notebooks que hacen referencia a nombres de dos niveles que el namespace de tres niveles de Unity Catalog no acepta. El control de acceso vive en ACL a nivel de clúster y en instance profiles que los auditores no pueden leer con facilidad. Hacer el corte de una sola vez no es una opción cuando esas mismas tablas alimentan reportes regulatorios.

Entorno

Workspaces de Databricks en AWS o Azure con un Hive metastore existente, montajes de DBFS y una mezcla de tablas Delta managed y external.

Enfoque

AceMQ inventaría el metastore existente, clasifica cada tabla según su ubicación de almacenamiento y su propietario, y mapea las rutas de almacenamiento en la nube a external locations y storage credentials de Unity Catalog. Las tablas se mueven en oleadas por dominio y funcionan en paralelo en ambos metastores hasta que se migran los consumidores. Los permisos se reconstruyen a partir de la pertenencia a grupos en lugar de replicarse tabla por tabla, para que el modelo resultante se pueda revisar.

Solución

  1. Inventario completo del metastore que clasifica tablas managed y external, rutas de almacenamiento y consumidores activos
  2. Diseño de external locations y storage credentials mapeado a los límites existentes de IAM en la nube
  3. Actualización de tablas por oleadas con doble registro, para que los consumidores migren según su propio calendario
  4. Escaneo de notebooks y jobs para encontrar referencias a tablas de dos niveles y rutas de montaje de DBFS que deben reescribirse
  5. Modelo de permisos basado en grupos, con privilegios de catálogo, esquema y tabla definidos en Terraform
  6. Validación del lineage y de los logs de auditoría frente a la evidencia de cumplimiento que el equipo realmente tiene que presentar

Resultado final

Los clientes terminan con un único catálogo gobernado en todos sus workspaces, decisiones de acceso expresadas como permisos por grupo en lugar de configuración de clústeres y lineage disponible para auditoría. Los equipos migran dominio por dominio en lugar de asumir un único fin de semana de corte de alto riesgo.

Tecnologías

DatabricksDelta LakeApache SparkTerraform

¿Necesita orientación de arquitectura para Databricks?

Los ingenieros sénior de Databricks de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.