Descripción general
HDFS mantiene todo el namespace en la memoria del NameNode, así que lo que limita al clúster es la cantidad de archivos, no el volumen de datos. Cuando la proliferación de archivos pequeños lleva el heap cerca de su techo, las pausas de GC se alargan hasta que los clientes empiezan a sufrir timeouts y el failover oscila. AceMQ estabiliza el NameNode y elimina las fuentes que generan esos archivos.
Desafío
Los jobs de ingesta que escriben un archivo por micro-batch, las tablas de Hive con exceso de particiones y años de landing zones sin compactar producen decenas de millones de objetos que, individualmente, contienen muy pocos datos. El heap sube, las pausas de full GC llegan a decenas de segundos, falla el health check del NameNode standby y el failover automático se dispara durante una pausa que en realidad no era una falla. Los reinicios se vuelven riesgosos porque cargar el fsimage y reaplicar los edits lleva cada vez más tiempo.
Entorno
Clústeres de HDFS on-premises con NameNodes en HA, JournalNodes y cargas de trabajo mixtas de Hive, Spark e ingesta.
Enfoque
AceMQ perfila el namespace para encontrar dónde se concentra la cantidad de archivos y luego gana margen de inmediato mediante el ajuste del heap y del GC y de los tiempos de failover, para que el clúster deje de oscilar. La compactación se ejecuta sobre los peores directorios bajo carga controlada, y se corrigen los jobs que generan los archivos para que la cantidad deje de crecer. Donde la proliferación es estructural, se aplican cambios de archivado y de formato.
Solución
- Perfilado del namespace a partir del análisis del fsimage para ordenar los directorios según la cantidad de archivos frente a los bytes almacenados
- Ajuste del dimensionamiento del heap del NameNode y de la configuración del GC para reducir la duración de las pausas de recolección completa
- Ajuste de los tiempos de failover y de health check para que las pausas largas de GC dejen de provocar promociones innecesarias del standby
- Compactación por etapas de los directorios con más archivos bajo carga controlada, incluida la concatenación de tablas de Hive
- Corrección de los jobs que generan los archivos: intervalo de los batches, cantidad de particiones de salida y elección de la columna de partición
- Archivado con HAR o migración de formato para los datasets fríos que deben conservarse pero no se consultan directamente
Resultado final
Las pausas de GC vuelven a un rango en el que el failover ya no se dispara sin motivo, y el tiempo de reinicio del NameNode vuelve a estar bajo control. Como los jobs que generan los archivos se corrigen en el mismo proyecto, el namespace deja de crecer de nuevo hacia el techo.