Voltar para todos os casos de uso

SuporteGoverno / defesa

Especialistas em Hadoop de plantão, para clusters que ainda precisam funcionar

Órgão do setor público

Suporte com engenheiros designados para starvation de filas do YARN, falhas de alocação de contêineres e instabilidade de NodeManagers em clusters Hadoop de produção.

Visão geral

A experiência operacional em Hadoop vem saindo do mercado há anos, mas os clusters continuam em produção e continuam carregando cargas de trabalho reguladas. A AceMQ oferece engenheiros sêniores designados, 24/7, para os clusters que precisam continuar funcionando até a migração terminar.

Desafio

Entre os incidentes de produção mais comuns estão uma única fila consumindo o cluster porque suas configurações de capacity e maximum-capacity nunca foram conciliadas, aplicações presas em ACCEPTED porque o percentual de recursos do ApplicationMaster se esgotou, NodeManagers marcados como unhealthy por diretórios locais cheios e contêineres encerrados por excederem a memória física quando o problema real é o overhead da JVM fora do heap. Quem já viu esses casos os diagnostica em minutos; quem nunca viu pode levar dias.

Ambiente

Clusters Hadoop on-premises rodando YARN com Capacity ou Fair Scheduler e cargas mistas de Spark, Hive e MapReduce.

Abordagem

Os engenheiros da AceMQ trabalham a partir dos logs do ResourceManager e do NodeManager, das métricas das filas do scheduler e dos códigos de saída dos contêineres, para distinguir um problema de escalonamento de um problema de recursos e de um problema de nó. A estabilização vem primeiro, seguida da mudança na configuração das filas ou no dimensionamento de memória que elimina a recorrência.

Solução

  1. Metas de resposta a partir de 15 minutos, conforme o plano, com engenheiros sêniores designados, 24/7, sem triagem de nível 1
  2. Revisão de capacity, maximum-capacity e user-limit-factor das filas, para resolver starvation e crescimento ilimitado de filas
  3. Diagnóstico de aplicações presas em ACCEPTED, incluindo o esgotamento do percentual de recursos do ApplicationMaster
  4. Diagnóstico da saúde dos NodeManagers, cobrindo esgotamento dos diretórios locais e de logs e os limites de falha de disco
  5. Dimensionamento da memória dos contêineres considerando heap, overhead e vmem ratio, para acabar com encerramentos que na verdade são overhead da JVM
  6. Configuração de preemption e de node labels onde cargas mistas precisam compartilhar um cluster com prioridades diferentes

Resultado obtido

Os clientes mantêm os clusters Hadoop funcionando de forma confiável durante o período de migração sem precisar manter internamente uma especialização em Hadoop cada vez mais rara, e os incidentes recorrentes do scheduler são resolvidos no nível da configuração, e não reiniciando o ResourceManager.

Tecnologias

Apache HadoopYARNApache SparkApache Hive

Precisa de suporte especializado em Apache Hadoop?

Os engenheiros Apache Hadoop sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.