Voltar a todos os casos de utilização

ConsultoriaTransversal a vários setores

Sair do Hadoop de forma deliberada, antes que a renovação do hardware force a decisão

Seguradora nacional

Saída de um cluster Hadoop envelhecido para armazenamento de objetos e formatos de tabela abertos, com as cargas de trabalho Hive, MapReduce e Oozie traduzidas em vez de simplesmente transferidas.

Visão geral

A maioria dos clusters Hadoop ainda em funcionamento vive em tempo emprestado — o fornecedor da distribuição mudou, o hardware está a precisar de renovação e o conhecimento operacional tem vindo a sair há anos. A AceMQ planeia e executa a migração para armazenamento de objetos com formatos de tabela abertos, traduzindo as cargas de trabalho em vez de as transferir para uma forma que terá de voltar a ser migrada.

Desafio

Um parque Hadoop com dez anos tem milhares de tabelas Hive, jobs MapReduce cujos autores já saíram, coordinators Oozie que ninguém compreende por completo e autorização baseada em Kerberos expressa em políticas Ranger que não correspondem de forma direta ao IAM da cloud. Nada pode ser desligado até se encontrarem os seus consumidores, e a lista de consumidores não está escrita em lado nenhum. O fator que força a decisão é normalmente uma data de fim de vida do hardware, que deixa menos tempo do que o trabalho exige.

Ambiente

Distribuições Hadoop on-premises com HDFS, Hive, YARN, MapReduce, Oozie e Ranger, em migração para armazenamento de objetos na cloud com Delta Lake ou Iceberg.

Abordagem

A AceMQ começa pela descoberta de dependências a partir dos logs de queries do HiveServer2, dos logs de auditoria do HDFS e do histórico do scheduler, para apurar o que é realmente lido e por quem — normalmente uma fração do que existe. As cargas de trabalho migram por domínio, em vagas com validação em execução dupla, as queries MapReduce e Hive são traduzidas para Spark SQL em vez de emuladas e as políticas Ranger são reconstruídas como permissões de catálogo. A desativação é agendada por domínio, assim que os consumidores confirmam a transição.

Solução

  1. Descoberta de dependências a partir dos logs de queries do HiveServer2, dos logs de auditoria do HDFS e do histórico do Oozie, para distinguir conjuntos de dados ativos de dormentes
  2. Escolha do formato de tabela e redesenho das partições para armazenamento de objetos, em substituição de organizações da era HDFS que pressupõem disco local
  3. Tradução das cargas de trabalho MapReduce e Hive para Spark SQL, com as UDFs legadas portadas ou substituídas em vez de encapsuladas
  4. Conversão dos coordinators Oozie em DAGs Airflow, preservando a semântica das dependências
  5. Autorização Ranger e Kerberos reconstruída como permissões ao nível do catálogo, associadas aos grupos de identidade existentes
  6. Transição por vagas com reconciliação em execução dupla e um calendário de desativação por domínio

Resultado final

Os clientes saem do hardware e do compromisso de suporte do Hadoop segundo um calendário planeado, e não sob a pressão da renovação, e chegam a uma plataforma em que o armazenamento e a computação escalam de forma independente. A descoberta de dependências mostra sistematicamente que uma grande parte dos dados armazenados não tem nenhum consumidor ativo e nunca precisa de ser migrada.

Tecnologias

Apache HadoopApache SparkDelta LakeApache Airflow

Precisa de orientação de arquitetura Apache Hadoop?

Os engenheiros seniores de Apache Hadoop da AceMQ já trataram exatamente este tipo de projeto. Quer precise de orientação de arquitetura, de correção prática ou de uma parceria de gestão contínua, estamos prontos para ajudar.