Zurück zu allen Kundenbeispielen

FehlerbehebungBranchenübergreifend

Jede kleine Datei kostet NameNode-Heap – und der Heap ist die harte Grenze des Clusters

Globaler Logistikbetreiber

Entlastung des NameNode-Heaps und Beseitigung langer GC-Pausen, die durch eine Flut kleiner Dateien in HDFS entstehen – bevor der Cluster seinen Metadaten-Dienst verliert.

Überblick

HDFS hält den gesamten Namespace im Speicher des NameNode. Deshalb begrenzt die Zahl der Dateien den Cluster, nicht das Datenvolumen. Treibt eine Flut kleiner Dateien den Heap an seine Obergrenze, werden die GC-Pausen immer länger, bis Clients in Timeouts laufen und das Failover hin und her springt. AceMQ stabilisiert den NameNode und beseitigt die Quellen, die die Dateien erzeugen.

Herausforderung

Ingest-Jobs, die pro Micro-Batch eine Datei schreiben, überpartitionierte Hive-Tabellen und jahrelang nicht kompaktierte Landing Zones erzeugen Zigmillionen Objekte, die jeweils nur sehr wenige Daten enthalten. Der Heap steigt, Full-GC-Pausen wachsen auf mehrere Dutzend Sekunden, der Health Check des Standby-NameNode schlägt fehl, und das automatische Failover löst während einer Pause aus, die gar kein Ausfall war. Neustarts werden riskant, weil das Laden des fsimage und das Nachspielen der Edits immer länger dauern.

Umgebung

On-Premises-HDFS-Cluster mit HA-NameNodes, JournalNodes und gemischten Workloads aus Hive, Spark und Ingest.

Vorgehen

AceMQ analysiert den Namespace, um zu finden, wo sich die Dateizahl konzentriert, und schafft sofort Luft durch Tuning von Heap und GC sowie angepasste Failover-Zeiten, damit der Cluster nicht mehr hin und her springt. Die Compaction läuft unter kontrollierter Last auf den schlimmsten Verzeichnissen, und die erzeugenden Jobs werden korrigiert, damit die Dateizahl nicht weiter steigt. Wo die Dateiflut strukturell bedingt ist, kommen Archivierung und Formatwechsel zum Einsatz.

Lösung

  1. Namespace-Profiling per fsimage-Analyse, um Verzeichnisse nach Dateizahl im Verhältnis zu den gespeicherten Bytes zu reihen
  2. Heap-Dimensionierung und GC-Konfiguration des NameNode abgestimmt, um die Dauer von Full-Collection-Pausen zu verringern
  3. Failover- und Health-Check-Zeiten so angepasst, dass lange GC-Pausen keine unnötige Promotion des Standby mehr auslösen
  4. Gestaffelte Compaction der Verzeichnisse mit den meisten Dateien unter kontrollierter Last, einschließlich Concatenation von Hive-Tabellen
  5. Korrektur der erzeugenden Jobs – Batch-Intervall, Zahl der Ausgabepartitionen und Wahl der Partitionsspalte
  6. HAR-Archivierung oder Formatmigration für kalte Datensätze, die aufbewahrt, aber nicht direkt abgefragt werden müssen

Resultat

Die GC-Pausen kehren in einen Bereich zurück, in dem das Failover nicht mehr grundlos auslöst, und die Neustartzeit des NameNode ist wieder beherrschbar. Weil die erzeugenden Jobs im selben Projekt korrigiert werden, wächst der Namespace nicht wieder an die Obergrenze heran.

Technologien

Apache HadoopApache HiveApache SparkYARN

Haben Sie ein Produktionsproblem mit Apache Hadoop?

Die Senior Engineers von AceMQ für Apache Hadoop haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.