Überblick
HDFS hält den gesamten Namespace im Speicher des NameNode. Deshalb begrenzt die Zahl der Dateien den Cluster, nicht das Datenvolumen. Treibt eine Flut kleiner Dateien den Heap an seine Obergrenze, werden die GC-Pausen immer länger, bis Clients in Timeouts laufen und das Failover hin und her springt. AceMQ stabilisiert den NameNode und beseitigt die Quellen, die die Dateien erzeugen.
Herausforderung
Ingest-Jobs, die pro Micro-Batch eine Datei schreiben, überpartitionierte Hive-Tabellen und jahrelang nicht kompaktierte Landing Zones erzeugen Zigmillionen Objekte, die jeweils nur sehr wenige Daten enthalten. Der Heap steigt, Full-GC-Pausen wachsen auf mehrere Dutzend Sekunden, der Health Check des Standby-NameNode schlägt fehl, und das automatische Failover löst während einer Pause aus, die gar kein Ausfall war. Neustarts werden riskant, weil das Laden des fsimage und das Nachspielen der Edits immer länger dauern.
Umgebung
On-Premises-HDFS-Cluster mit HA-NameNodes, JournalNodes und gemischten Workloads aus Hive, Spark und Ingest.
Vorgehen
AceMQ analysiert den Namespace, um zu finden, wo sich die Dateizahl konzentriert, und schafft sofort Luft durch Tuning von Heap und GC sowie angepasste Failover-Zeiten, damit der Cluster nicht mehr hin und her springt. Die Compaction läuft unter kontrollierter Last auf den schlimmsten Verzeichnissen, und die erzeugenden Jobs werden korrigiert, damit die Dateizahl nicht weiter steigt. Wo die Dateiflut strukturell bedingt ist, kommen Archivierung und Formatwechsel zum Einsatz.
Lösung
- Namespace-Profiling per fsimage-Analyse, um Verzeichnisse nach Dateizahl im Verhältnis zu den gespeicherten Bytes zu reihen
- Heap-Dimensionierung und GC-Konfiguration des NameNode abgestimmt, um die Dauer von Full-Collection-Pausen zu verringern
- Failover- und Health-Check-Zeiten so angepasst, dass lange GC-Pausen keine unnötige Promotion des Standby mehr auslösen
- Gestaffelte Compaction der Verzeichnisse mit den meisten Dateien unter kontrollierter Last, einschließlich Concatenation von Hive-Tabellen
- Korrektur der erzeugenden Jobs – Batch-Intervall, Zahl der Ausgabepartitionen und Wahl der Partitionsspalte
- HAR-Archivierung oder Formatmigration für kalte Datensätze, die aufbewahrt, aber nicht direkt abgefragt werden müssen
Resultat
Die GC-Pausen kehren in einen Bereich zurück, in dem das Failover nicht mehr grundlos auslöst, und die Neustartzeit des NameNode ist wieder beherrschbar. Weil die erzeugenden Jobs im selben Projekt korrigiert werden, wächst der Namespace nicht wieder an die Obergrenze heran.