Visão geral
A maioria dos clusters Hadoop ainda em funcionamento vive em tempo emprestado — o fornecedor da distribuição mudou, o hardware está a precisar de renovação e o conhecimento operacional tem vindo a sair há anos. A AceMQ planeia e executa a migração para armazenamento de objetos com formatos de tabela abertos, traduzindo as cargas de trabalho em vez de as transferir para uma forma que terá de voltar a ser migrada.
Desafio
Um parque Hadoop com dez anos tem milhares de tabelas Hive, jobs MapReduce cujos autores já saíram, coordinators Oozie que ninguém compreende por completo e autorização baseada em Kerberos expressa em políticas Ranger que não correspondem de forma direta ao IAM da cloud. Nada pode ser desligado até se encontrarem os seus consumidores, e a lista de consumidores não está escrita em lado nenhum. O fator que força a decisão é normalmente uma data de fim de vida do hardware, que deixa menos tempo do que o trabalho exige.
Ambiente
Distribuições Hadoop on-premises com HDFS, Hive, YARN, MapReduce, Oozie e Ranger, em migração para armazenamento de objetos na cloud com Delta Lake ou Iceberg.
Abordagem
A AceMQ começa pela descoberta de dependências a partir dos logs de queries do HiveServer2, dos logs de auditoria do HDFS e do histórico do scheduler, para apurar o que é realmente lido e por quem — normalmente uma fração do que existe. As cargas de trabalho migram por domínio, em vagas com validação em execução dupla, as queries MapReduce e Hive são traduzidas para Spark SQL em vez de emuladas e as políticas Ranger são reconstruídas como permissões de catálogo. A desativação é agendada por domínio, assim que os consumidores confirmam a transição.
Solução
- Descoberta de dependências a partir dos logs de queries do HiveServer2, dos logs de auditoria do HDFS e do histórico do Oozie, para distinguir conjuntos de dados ativos de dormentes
- Escolha do formato de tabela e redesenho das partições para armazenamento de objetos, em substituição de organizações da era HDFS que pressupõem disco local
- Tradução das cargas de trabalho MapReduce e Hive para Spark SQL, com as UDFs legadas portadas ou substituídas em vez de encapsuladas
- Conversão dos coordinators Oozie em DAGs Airflow, preservando a semântica das dependências
- Autorização Ranger e Kerberos reconstruída como permissões ao nível do catálogo, associadas aos grupos de identidade existentes
- Transição por vagas com reconciliação em execução dupla e um calendário de desativação por domínio
Resultado final
Os clientes saem do hardware e do compromisso de suporte do Hadoop segundo um calendário planeado, e não sob a pressão da renovação, e chegam a uma plataforma em que o armazenamento e a computação escalam de forma independente. A descoberta de dependências mostra sistematicamente que uma grande parte dos dados armazenados não tem nenhum consumidor ativo e nunca precisa de ser migrada.