Voltar para todos os casos de uso

ConsultoriaSaúde / benefícios

Sair do Hive metastore sem quebrar todos os jobs do workspace

Provedor de analytics para a área da saúde

Migração do Hive metastore legado para o Unity Catalog, com mapeamento de external locations, upgrade de tabelas e um modelo de grants que passa em auditoria.

Visão geral

O Unity Catalog substitui os Hive metastores por workspace por um catálogo no nível da conta, com lineage, controles por linha e por coluna e um modelo único de grants. Em princípio, a migração é simples; na prática, é trabalhosa, porque anos de tabelas, mount points e caminhos fixos no código precisam ser reconciliados antes.

Desafio

Workspaces legados costumam ter centenas de tabelas registradas sobre mounts do DBFS, uma mistura de tabelas gerenciadas e externas sem dono claro e notebooks que referenciam nomes de dois níveis que o namespace de três níveis do Unity Catalog não aceita. O controle de acesso fica em ACLs no escopo do cluster e em instance profiles que os auditores não conseguem ler com facilidade. Fazer o cutover de tudo de uma vez não é uma opção quando as mesmas tabelas alimentam relatórios regulatórios.

Ambiente

Workspaces Databricks na AWS ou no Azure com um Hive metastore existente, mounts do DBFS e uma mistura de tabelas Delta gerenciadas e externas.

Abordagem

A AceMQ faz o inventário do metastore existente, classifica cada tabela por local de armazenamento e por responsável e mapeia os caminhos de armazenamento em nuvem para external locations e storage credentials do Unity Catalog. As tabelas migram em ondas por domínio, rodando em paralelo nos dois metastores até que os consumidores façam o cutover. Os grants são reconstruídos a partir da participação em grupos, em vez de replicados tabela por tabela, para que o modelo resultante possa ser revisado.

Solução

  1. Inventário completo do metastore, classificando tabelas gerenciadas e externas, caminhos de armazenamento e consumidores ativos
  2. Design de external locations e storage credentials mapeado para os limites de IAM de nuvem já existentes
  3. Upgrade de tabelas em ondas, com registro duplo para que os consumidores migrem no seu próprio ritmo
  4. Varredura de notebooks e jobs para encontrar referências de tabela em dois níveis e caminhos de mounts do DBFS que precisam ser reescritos
  5. Modelo de grants baseado em grupos, com privilégios de catálogo, schema e tabela definidos em Terraform
  6. Validação do lineage e dos logs de auditoria em relação às evidências de conformidade que a equipe realmente precisa produzir

Resultado obtido

Os clientes passam a ter um único catálogo governado entre workspaces, decisões de acesso expressas como grants a grupos em vez de configuração de cluster e lineage disponível para auditoria. As equipes migram domínio por domínio, em vez de enfrentar um único fim de semana de cutover de alto risco.

Tecnologias

DatabricksDelta LakeApache SparkTerraform

Precisa de orientação de arquitetura para Databricks?

Os engenheiros Databricks sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.