Torna a tutti i casi d'uso

RemediationTrasversale

Ogni file piccolo consuma heap del NameNode, e l'heap è il limite invalicabile del cluster

Operatore logistico globale

Alleggerire la pressione sull'heap del NameNode e le lunghe pause di GC causate dalla proliferazione di file piccoli su HDFS, prima che il cluster perda il servizio di metadati.

Panoramica

HDFS mantiene l'intero namespace nella memoria del NameNode, per cui a vincolare il cluster è il numero di file, non il volume di dati. Quando la proliferazione di file piccoli spinge l'heap verso il suo tetto, le pause di GC si allungano finché i client iniziano ad andare in timeout e il failover oscilla. AceMQ stabilizza il NameNode ed elimina le sorgenti che producono i file.

Sfida

Job di ingestion che scrivono un file per ogni micro-batch, tabelle Hive con troppe partizioni e anni di landing zone mai compattate producono decine di milioni di oggetti che singolarmente contengono pochissimi dati. L'heap sale, le pause di full GC arrivano a decine di secondi, l'health check del NameNode standby fallisce e il failover automatico scatta durante una pausa che in realtà non era un guasto. I riavvii diventano rischiosi, perché il caricamento dell'fsimage e il replay degli edit richiedono sempre più tempo.

Ambiente

Cluster HDFS on-premises con NameNode in HA, JournalNode e workload misti Hive, Spark e di ingestion.

Approccio

AceMQ profila il namespace per capire dove si concentri il numero di file, quindi guadagna subito margine con il tuning di heap e GC e con la regolazione delle tempistiche di failover, così che il cluster smetta di oscillare. La compaction viene eseguita sulle directory peggiori a carico controllato, e i job che producono i file vengono corretti perché il numero di file smetta di crescere. Dove la proliferazione è strutturale, si applicano archiviazione e cambi di formato.

Soluzione

  1. Profilazione del namespace tramite l'analisi dell'fsimage, per classificare le directory in base al numero di file rispetto ai byte archiviati
  2. Dimensionamento dell'heap e configurazione del GC del NameNode ottimizzati per ridurre la durata delle pause di full collection
  3. Tempistiche di failover e di health check regolate, così che le lunghe pause di GC non provochino più promozioni non necessarie dello standby
  4. Compaction per fasi delle directory con il maggior numero di file a carico controllato, inclusa la concatenazione delle tabelle Hive
  5. Correzione dei job che producono i file: intervallo dei batch, numero di partizioni in output e scelta della colonna di partizionamento
  6. Archiviazione HAR o migrazione di formato per i dataset freddi da conservare ma non interrogare direttamente

Esito

Le pause di GC tornano in un intervallo in cui il failover non scatta più senza motivo, e il tempo di riavvio del NameNode torna sotto controllo. Poiché nello stesso intervento vengono corretti anche i job che producono i file, il namespace smette di crescere di nuovo verso il tetto.

Tecnologie

Apache HadoopApache HiveApache SparkYARN

Avete un problema di produzione su Apache Hadoop?

Gli ingegneri Apache Hadoop senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.