Descripción general
HDFS mantiene todo el espacio de nombres en la memoria del NameNode, así que lo que limita al clúster es el número de ficheros, no el volumen de datos. Cuando la proliferación de ficheros pequeños acerca el heap a su techo, las pausas de GC se alargan hasta que los clientes empiezan a sufrir timeouts y el failover oscila. AceMQ estabiliza el NameNode y elimina las fuentes que generan los ficheros.
Reto
Los jobs de ingesta que escriben un fichero por microlote, las tablas de Hive con un particionado excesivo y años de zonas de aterrizaje sin compactar generan decenas de millones de objetos que, por separado, contienen muy pocos datos. El heap sube, las pausas de GC completas llegan a decenas de segundos, el health check del NameNode standby falla y el failover automático se dispara durante una pausa que en realidad no era un fallo. Los reinicios se vuelven arriesgados porque cargar el fsimage y reproducir los edits tarda cada vez más.
Entorno
Clústeres HDFS on-premises con NameNodes en alta disponibilidad, JournalNodes y una mezcla de cargas de Hive, Spark e ingesta.
Enfoque
AceMQ perfila el espacio de nombres para localizar dónde se concentra el número de ficheros y, de inmediato, gana margen ajustando el heap, el GC y los tiempos del failover para que el clúster deje de oscilar. La compactación se ejecuta sobre los peores directorios con una carga controlada y se corrigen los jobs que generan los ficheros para que su número deje de aumentar. Cuando la proliferación es estructural, se aplican cambios de archivado y de formato.
Solución
- Perfilado del espacio de nombres a partir del análisis del fsimage para ordenar los directorios por número de ficheros frente a bytes almacenados
- Ajuste del tamaño del heap del NameNode y de la configuración del GC para reducir la duración de las pausas de recolección completa
- Ajuste de los tiempos del failover y del health check para que las pausas largas de GC dejen de provocar promociones innecesarias del standby
- Compactación escalonada de los directorios con más ficheros bajo carga controlada, incluida la concatenación de tablas de Hive
- Corrección de los jobs que generan los ficheros: intervalo de los lotes, número de particiones de salida y elección de la columna de particionado
- Archivado en HAR o migración de formato para los conjuntos de datos fríos que deben conservarse pero no se consultan directamente
Resultado final
Las pausas de GC vuelven a un rango en el que el failover ya no se dispara sin motivo, y el tiempo de reinicio del NameNode vuelve a estar bajo control. Como los jobs que generan los ficheros se corrigen en el mismo proyecto, el espacio de nombres deja de crecer de nuevo hacia el techo.