Panoramica
HDFS mantiene l'intero namespace nella memoria del NameNode, per cui a vincolare il cluster è il numero di file, non il volume di dati. Quando la proliferazione di file piccoli spinge l'heap verso il suo tetto, le pause di GC si allungano finché i client iniziano ad andare in timeout e il failover oscilla. AceMQ stabilizza il NameNode ed elimina le sorgenti che producono i file.
Sfida
Job di ingestion che scrivono un file per ogni micro-batch, tabelle Hive con troppe partizioni e anni di landing zone mai compattate producono decine di milioni di oggetti che singolarmente contengono pochissimi dati. L'heap sale, le pause di full GC arrivano a decine di secondi, l'health check del NameNode standby fallisce e il failover automatico scatta durante una pausa che in realtà non era un guasto. I riavvii diventano rischiosi, perché il caricamento dell'fsimage e il replay degli edit richiedono sempre più tempo.
Ambiente
Cluster HDFS on-premises con NameNode in HA, JournalNode e workload misti Hive, Spark e di ingestion.
Approccio
AceMQ profila il namespace per capire dove si concentri il numero di file, quindi guadagna subito margine con il tuning di heap e GC e con la regolazione delle tempistiche di failover, così che il cluster smetta di oscillare. La compaction viene eseguita sulle directory peggiori a carico controllato, e i job che producono i file vengono corretti perché il numero di file smetta di crescere. Dove la proliferazione è strutturale, si applicano archiviazione e cambi di formato.
Soluzione
- Profilazione del namespace tramite l'analisi dell'fsimage, per classificare le directory in base al numero di file rispetto ai byte archiviati
- Dimensionamento dell'heap e configurazione del GC del NameNode ottimizzati per ridurre la durata delle pause di full collection
- Tempistiche di failover e di health check regolate, così che le lunghe pause di GC non provochino più promozioni non necessarie dello standby
- Compaction per fasi delle directory con il maggior numero di file a carico controllato, inclusa la concatenazione delle tabelle Hive
- Correzione dei job che producono i file: intervallo dei batch, numero di partizioni in output e scelta della colonna di partizionamento
- Archiviazione HAR o migrazione di formato per i dataset freddi da conservare ma non interrogare direttamente
Esito
Le pause di GC tornano in un intervallo in cui il failover non scatta più senza motivo, e il tempo di riavvio del NameNode torna sotto controllo. Poiché nello stesso intervento vengono corretti anche i job che producono i file, il namespace smette di crescere di nuovo verso il tetto.