Voltar a todos os casos de utilização

ConsultoriaSaúde / Benefícios

Sair do Hive metastore sem partir todos os jobs do workspace

Fornecedor de analytics para a saúde

Migração do Hive metastore legado para o Unity Catalog, com mapeamento de external locations, atualização de tabelas e um modelo de permissões que resiste a uma auditoria.

Visão geral

O Unity Catalog substitui os Hive metastores por workspace por um catálogo ao nível da conta que inclui linhagem, controlos ao nível da linha e da coluna e um modelo de permissões único. A migração é simples em princípio e confusa na prática, porque anos de tabelas, mount points e caminhos codificados à mão têm de ser reconciliados primeiro.

Desafio

Os workspaces legados têm normalmente centenas de tabelas registadas sobre mounts DBFS, uma mistura de tabelas geridas e externas com responsáveis pouco claros e notebooks que referenciam nomes de dois níveis que o namespace de três níveis do Unity Catalog não aceita. O controlo de acessos vive em ACLs ao nível do cluster e em instance profiles que os auditores não conseguem ler com facilidade. Fazer a transição de uma só vez não é opção quando as mesmas tabelas alimentam relatórios regulamentares.

Ambiente

Workspaces Databricks em AWS ou Azure com um Hive metastore existente, mounts DBFS e uma mistura de tabelas Delta geridas e externas.

Abordagem

A AceMQ inventaria o metastore existente, classifica cada tabela por localização de armazenamento e por responsável, e faz corresponder os caminhos de armazenamento cloud a external locations e storage credentials do Unity Catalog. As tabelas são migradas em vagas por domínio, a correr em paralelo nos dois metastores até os consumidores fazerem a transição. As permissões são reconstruídas a partir da pertença a grupos, em vez de replicadas tabela a tabela, para que o modelo resultante possa ser revisto.

Solução

  1. Inventário completo do metastore, classificando tabelas geridas e externas, caminhos de armazenamento e consumidores ativos
  2. Desenho de external locations e storage credentials alinhado com as fronteiras de IAM cloud existentes
  3. Atualização de tabelas por vagas, com registo duplo para que os consumidores migrem ao seu próprio ritmo
  4. Análise de notebooks e jobs para encontrar referências a tabelas com dois níveis e caminhos de mounts DBFS que têm de ser reescritos
  5. Modelo de permissões baseado em grupos, com privilégios de catálogo, schema e tabela definidos em Terraform
  6. Validação da linhagem e dos logs de auditoria face às evidências de conformidade que a equipa tem efetivamente de produzir

Resultado final

Os clientes ficam com um único catálogo governado em todos os workspaces, decisões de acesso expressas como permissões de grupo em vez de configuração de clusters e linhagem disponível para auditoria. As equipas migram domínio a domínio, em vez de enfrentarem um único fim de semana de transição de alto risco.

Tecnologias

DatabricksDelta LakeApache SparkTerraform

Precisa de orientação de arquitetura Databricks?

Os engenheiros seniores de Databricks da AceMQ já trataram exatamente este tipo de projeto. Quer precise de orientação de arquitetura, de correção prática ou de uma parceria de gestão contínua, estamos prontos para ajudar.