Visão geral
A experiência operacional em Hadoop vem saindo do mercado há anos, mas os clusters continuam em produção e continuam carregando cargas de trabalho reguladas. A AceMQ oferece engenheiros sêniores designados, 24/7, para os clusters que precisam continuar funcionando até a migração terminar.
Desafio
Entre os incidentes de produção mais comuns estão uma única fila consumindo o cluster porque suas configurações de capacity e maximum-capacity nunca foram conciliadas, aplicações presas em ACCEPTED porque o percentual de recursos do ApplicationMaster se esgotou, NodeManagers marcados como unhealthy por diretórios locais cheios e contêineres encerrados por excederem a memória física quando o problema real é o overhead da JVM fora do heap. Quem já viu esses casos os diagnostica em minutos; quem nunca viu pode levar dias.
Ambiente
Clusters Hadoop on-premises rodando YARN com Capacity ou Fair Scheduler e cargas mistas de Spark, Hive e MapReduce.
Abordagem
Os engenheiros da AceMQ trabalham a partir dos logs do ResourceManager e do NodeManager, das métricas das filas do scheduler e dos códigos de saída dos contêineres, para distinguir um problema de escalonamento de um problema de recursos e de um problema de nó. A estabilização vem primeiro, seguida da mudança na configuração das filas ou no dimensionamento de memória que elimina a recorrência.
Solução
- Metas de resposta a partir de 15 minutos, conforme o plano, com engenheiros sêniores designados, 24/7, sem triagem de nível 1
- Revisão de capacity, maximum-capacity e user-limit-factor das filas, para resolver starvation e crescimento ilimitado de filas
- Diagnóstico de aplicações presas em ACCEPTED, incluindo o esgotamento do percentual de recursos do ApplicationMaster
- Diagnóstico da saúde dos NodeManagers, cobrindo esgotamento dos diretórios locais e de logs e os limites de falha de disco
- Dimensionamento da memória dos contêineres considerando heap, overhead e vmem ratio, para acabar com encerramentos que na verdade são overhead da JVM
- Configuração de preemption e de node labels onde cargas mistas precisam compartilhar um cluster com prioridades diferentes
Resultado obtido
Os clientes mantêm os clusters Hadoop funcionando de forma confiável durante o período de migração sem precisar manter internamente uma especialização em Hadoop cada vez mais rara, e os incidentes recorrentes do scheduler são resolvidos no nível da configuração, e não reiniciando o ResourceManager.