Visão geral
O Unity Catalog substitui os Hive metastores por workspace por um catálogo no nível da conta, com lineage, controles por linha e por coluna e um modelo único de grants. Em princípio, a migração é simples; na prática, é trabalhosa, porque anos de tabelas, mount points e caminhos fixos no código precisam ser reconciliados antes.
Desafio
Workspaces legados costumam ter centenas de tabelas registradas sobre mounts do DBFS, uma mistura de tabelas gerenciadas e externas sem dono claro e notebooks que referenciam nomes de dois níveis que o namespace de três níveis do Unity Catalog não aceita. O controle de acesso fica em ACLs no escopo do cluster e em instance profiles que os auditores não conseguem ler com facilidade. Fazer o cutover de tudo de uma vez não é uma opção quando as mesmas tabelas alimentam relatórios regulatórios.
Ambiente
Workspaces Databricks na AWS ou no Azure com um Hive metastore existente, mounts do DBFS e uma mistura de tabelas Delta gerenciadas e externas.
Abordagem
A AceMQ faz o inventário do metastore existente, classifica cada tabela por local de armazenamento e por responsável e mapeia os caminhos de armazenamento em nuvem para external locations e storage credentials do Unity Catalog. As tabelas migram em ondas por domínio, rodando em paralelo nos dois metastores até que os consumidores façam o cutover. Os grants são reconstruídos a partir da participação em grupos, em vez de replicados tabela por tabela, para que o modelo resultante possa ser revisado.
Solução
- Inventário completo do metastore, classificando tabelas gerenciadas e externas, caminhos de armazenamento e consumidores ativos
- Design de external locations e storage credentials mapeado para os limites de IAM de nuvem já existentes
- Upgrade de tabelas em ondas, com registro duplo para que os consumidores migrem no seu próprio ritmo
- Varredura de notebooks e jobs para encontrar referências de tabela em dois níveis e caminhos de mounts do DBFS que precisam ser reescritos
- Modelo de grants baseado em grupos, com privilégios de catálogo, schema e tabela definidos em Terraform
- Validação do lineage e dos logs de auditoria em relação às evidências de conformidade que a equipe realmente precisa produzir
Resultado obtido
Os clientes passam a ter um único catálogo governado entre workspaces, decisões de acesso expressas como grants a grupos em vez de configuração de cluster e lineage disponível para auditoria. As equipes migram domínio por domínio, em vez de enfrentar um único fim de semana de cutover de alto risco.