Visão geral
Antes de destinar orçamento a uma migração do Hadoop, a liderança precisa de uma resposta baseada em evidências sobre o que está no cluster, o que ainda importa e quanto tempo a saída vai levar. A AceMQ produz esse inventário e um plano sequenciado com estimativas de esforço.
Desafio
O estado real do cluster não está documentado. Ninguém sabe dizer quais das milhares de tabelas Hive ainda são lidas, quais filas do YARN carregam trabalho de produção e quais são experimentos abandonados, ou quais jobs alimentam relatórios regulatórios e, portanto, não podem ser interrompidos. Estimativas feitas sem essas informações são chutes, e programas de migração construídos sobre chutes acabam atrasando.
Ambiente
Clusters Hadoop on-premises com HDFS, Hive, YARN e cargas mistas de Spark, MapReduce e Hive, em uma distribuição comercial ou da comunidade.
Abordagem
A AceMQ instrumenta os próprios logs de auditoria e de consultas do cluster durante um período representativo, em vez de depender de entrevistas. Cada tabela recebe uma data de última leitura e uma lista de consumidores; cada job recebe um perfil de tempo de execução, recursos e criticidade. O custo operacional é modelado incluindo hardware, suporte, energia e o tempo da equipe absorvido pela manutenção do cluster, e comparado com a plataforma de destino.
Solução
- Perfil de acesso por tabela a partir dos logs de auditoria do HDFS e do HiveServer2, atribuindo a cada dataset uma data de última leitura e uma lista de consumidores
- Inventário de jobs em todas as filas do YARN, com tempo de execução, consumo de recursos e classificação de criticidade para o negócio
- Modelo de custo do estado atual cobrindo renovação de hardware, suporte da distribuição, energia e rack e o tempo da equipe de operações
- Revisão da exposição de versões e CVEs em todo o stack de componentes da distribuição
- Sequenciamento das ondas de migração por profundidade de dependências e risco para o negócio, com estimativas de esforço por onda
- Recomendação de desativar ou migrar para cada dataset e job, com os dados inativos sinalizados para arquivamento em vez de migração
Resultado obtido
Os clientes recebem um business case de migração defensável, apoiado em dados de acesso medidos em vez de estimativas, e um plano em ondas que pode receber recursos. Só a constatação sobre os dados inativos costuma eliminar uma parte considerável do escopo de migração previsto.