Voltar para todos os casos de uso

CorreçãoMultissetorial

Cada arquivo pequeno custa heap do NameNode, e o heap é o limite rígido do cluster

Operadora global de logística

Alívio da pressão sobre o heap do NameNode e das longas pausas de GC causadas pela proliferação de arquivos pequenos no HDFS, antes que o cluster perca seu serviço de metadados.

Visão geral

O HDFS mantém todo o namespace na memória do NameNode, então o que limita o cluster é a quantidade de arquivos, e não o volume de dados. Quando a proliferação de arquivos pequenos leva o heap para perto do teto, as pausas de GC se alongam até que os clientes começam a dar timeout e o failover fica oscilando. A AceMQ estabiliza o NameNode e elimina as fontes que geram esses arquivos.

Desafio

Jobs de ingestão que gravam um arquivo por micro-batch, tabelas Hive com partições em excesso e anos de landing zones sem compactação produzem dezenas de milhões de objetos que, individualmente, guardam pouquíssimos dados. O heap sobe, as pausas de full GC chegam a dezenas de segundos, o health check do NameNode standby falha e o failover automático é disparado durante uma pausa que não era de fato uma falha. Os restarts ficam arriscados, porque carregar o fsimage e reaplicar os edits leva cada vez mais tempo.

Ambiente

Clusters HDFS on-premises com NameNodes em HA, JournalNodes e cargas mistas de Hive, Spark e ingestão.

Abordagem

A AceMQ analisa o namespace para descobrir onde a quantidade de arquivos está concentrada e, em seguida, ganha folga imediatamente com ajustes de heap e GC e do tempo de failover, para que o cluster pare de oscilar. A compactação é executada nos piores diretórios sob carga controlada, e os jobs que geram os arquivos são corrigidos para que a quantidade de arquivos pare de subir. Onde a proliferação é estrutural, aplicam-se arquivamento e mudanças de formato.

Solução

  1. Análise do namespace a partir do fsimage para classificar os diretórios por quantidade de arquivos em relação aos bytes armazenados
  2. Ajuste do dimensionamento do heap do NameNode e da configuração de GC para reduzir a duração das pausas de coleta completa
  3. Ajuste dos tempos de failover e de health check para que pausas longas de GC deixem de disparar promoções desnecessárias do standby
  4. Compactação em etapas dos diretórios com mais arquivos sob carga controlada, incluindo a concatenação de tabelas Hive
  5. Correção dos jobs que geram os arquivos: intervalo de batch, quantidade de partições de saída e escolha da coluna de particionamento
  6. Arquivamento em HAR ou migração de formato para datasets frios que precisam ser mantidos, mas não consultados diretamente

Resultado obtido

As pausas de GC voltam a uma faixa em que o failover não dispara mais sem motivo, e o tempo de restart do NameNode volta a ficar sob controle. Como os jobs que geram os arquivos são corrigidos no mesmo projeto, o namespace para de crescer de volta em direção ao teto.

Tecnologias

Apache HadoopApache HiveApache SparkYARN

Enfrentando um problema de produção com Apache Hadoop?

Os engenheiros Apache Hadoop sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.