Voltar para todos os casos de uso

ConsultoriaMultissetorial

Saia do Hadoop de forma planejada, antes que a renovação do hardware force a decisão

Seguradora de atuação nacional

Saída de um cluster Hadoop envelhecido para object storage e formatos de tabela abertos, com workloads de Hive, MapReduce e Oozie traduzidos, e não simplesmente transplantados.

Visão geral

A maioria dos clusters Hadoop em operação hoje está com os dias contados: o fornecedor da distribuição mudou, o hardware está para ser renovado e o conhecimento operacional vem indo embora há anos. A AceMQ planeja e executa a migração para object storage com formatos de tabela abertos, traduzindo os workloads em vez de transplantá-los para um formato que vai precisar ser migrado de novo.

Desafio

Um ambiente Hadoop de dez anos guarda milhares de tabelas Hive, jobs MapReduce cujos autores já saíram da empresa, coordinators do Oozie que ninguém entende por completo e uma autorização baseada em Kerberos expressa em policies do Ranger que não se traduzem diretamente para o IAM da nuvem. Nada pode ser desligado até que os seus consumidores sejam encontrados, e a lista de consumidores não está escrita em lugar nenhum. O fator que força a decisão costuma ser uma data de fim de vida do hardware, o que deixa menos tempo do que o trabalho exige.

Ambiente

Distribuições Hadoop on-premises com HDFS, Hive, YARN, MapReduce, Oozie e Ranger, migrando para object storage na nuvem com Delta Lake ou Iceberg.

Abordagem

A AceMQ começa pela descoberta de dependências a partir dos logs de consulta do HiveServer2, dos logs de auditoria do HDFS e do histórico do scheduler, para estabelecer o que é realmente lido e por quem, normalmente uma fração do que existe. Os workloads migram por domínio, em ondas, com validação em execução dupla; as consultas MapReduce e Hive são traduzidas para Spark SQL em vez de emuladas; e as policies do Ranger são reconstruídas como permissões no catálogo. O descomissionamento é agendado por domínio assim que os consumidores confirmam o cutover.

Solução

  1. Descoberta de dependências a partir dos logs de consulta do HiveServer2, dos logs de auditoria do HDFS e do histórico do Oozie, para identificar datasets ativos e inativos
  2. Escolha do formato de tabela e redesenho das partições para object storage, substituindo layouts da era HDFS que pressupõem disco local
  3. Tradução dos workloads MapReduce e Hive para Spark SQL, com as UDFs legadas portadas ou substituídas, e não encapsuladas
  4. Conversão dos coordinators do Oozie em DAGs do Airflow, preservando a semântica das dependências
  5. Autorização do Ranger e do Kerberos reconstruída como permissões no nível do catálogo, mapeadas para os grupos de identidade existentes
  6. Cutover em ondas com reconciliação em execução dupla e um cronograma de descomissionamento por domínio

Resultado obtido

Os clientes deixam o hardware e o contrato de suporte do Hadoop em um cronograma planejado, e não sob a pressão da renovação, e chegam a uma plataforma em que armazenamento e processamento escalam de forma independente. A descoberta de dependências mostra com frequência que uma grande parte dos dados armazenados não tem nenhum consumidor ativo e nunca precisa ser migrada.

Tecnologias

Apache HadoopApache SparkDelta LakeApache Airflow

Precisa de orientação de arquitetura para Apache Hadoop?

Os engenheiros Apache Hadoop sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.