Visão geral
O HDFS mantém todo o namespace na memória do NameNode, então o que limita o cluster é a quantidade de arquivos, e não o volume de dados. Quando a proliferação de arquivos pequenos leva o heap para perto do teto, as pausas de GC se alongam até que os clientes começam a dar timeout e o failover fica oscilando. A AceMQ estabiliza o NameNode e elimina as fontes que geram esses arquivos.
Desafio
Jobs de ingestão que gravam um arquivo por micro-batch, tabelas Hive com partições em excesso e anos de landing zones sem compactação produzem dezenas de milhões de objetos que, individualmente, guardam pouquíssimos dados. O heap sobe, as pausas de full GC chegam a dezenas de segundos, o health check do NameNode standby falha e o failover automático é disparado durante uma pausa que não era de fato uma falha. Os restarts ficam arriscados, porque carregar o fsimage e reaplicar os edits leva cada vez mais tempo.
Ambiente
Clusters HDFS on-premises com NameNodes em HA, JournalNodes e cargas mistas de Hive, Spark e ingestão.
Abordagem
A AceMQ analisa o namespace para descobrir onde a quantidade de arquivos está concentrada e, em seguida, ganha folga imediatamente com ajustes de heap e GC e do tempo de failover, para que o cluster pare de oscilar. A compactação é executada nos piores diretórios sob carga controlada, e os jobs que geram os arquivos são corrigidos para que a quantidade de arquivos pare de subir. Onde a proliferação é estrutural, aplicam-se arquivamento e mudanças de formato.
Solução
- Análise do namespace a partir do fsimage para classificar os diretórios por quantidade de arquivos em relação aos bytes armazenados
- Ajuste do dimensionamento do heap do NameNode e da configuração de GC para reduzir a duração das pausas de coleta completa
- Ajuste dos tempos de failover e de health check para que pausas longas de GC deixem de disparar promoções desnecessárias do standby
- Compactação em etapas dos diretórios com mais arquivos sob carga controlada, incluindo a concatenação de tabelas Hive
- Correção dos jobs que geram os arquivos: intervalo de batch, quantidade de partições de saída e escolha da coluna de particionamento
- Arquivamento em HAR ou migração de formato para datasets frios que precisam ser mantidos, mas não consultados diretamente
Resultado obtido
As pausas de GC voltam a uma faixa em que o failover não dispara mais sem motivo, e o tempo de restart do NameNode volta a ficar sob controle. Como os jobs que geram os arquivos são corrigidos no mesmo projeto, o namespace para de crescer de volta em direção ao teto.