Retour à tous les cas d'usage

RemédiationMultisectoriel

Chaque petit fichier coûte du heap au NameNode, et le heap est la limite absolue du cluster

Opérateur logistique international

Soulager la pression sur le heap du NameNode et les longues pauses de GC causées par la prolifération de petits fichiers dans HDFS, avant que le cluster ne perde son service de métadonnées.

Présentation

HDFS conserve tout l'espace de noms dans la mémoire du NameNode : c'est donc le nombre de fichiers, et non le volume de données, qui limite le cluster. Lorsque la prolifération de petits fichiers pousse le heap vers son plafond, les pauses de GC s'allongent jusqu'à ce que les clients commencent à expirer et que le basculement se mette à osciller. AceMQ stabilise le NameNode et élimine les sources qui produisent ces fichiers.

Défi

Des jobs d'ingestion qui écrivent un fichier par micro-batch, des tables Hive sur-partitionnées et des années de zones d'atterrissage jamais compactées produisent des dizaines de millions d'objets contenant chacun très peu de données. Le heap grimpe, les pauses de full GC atteignent des dizaines de secondes, le health check du NameNode de secours échoue, et le basculement automatique se déclenche pendant une pause qui n'était pas réellement une panne. Les redémarrages deviennent risqués, car le chargement du fsimage et le rejeu des edits prennent de plus en plus de temps.

Environnement

Clusters HDFS sur site avec NameNodes en haute disponibilité, JournalNodes et un mélange de charges Hive, Spark et d'ingestion.

Approche

AceMQ profile l'espace de noms pour repérer où se concentre le nombre de fichiers, puis dégage immédiatement de la marge grâce au réglage du heap et du GC et à l'ajustement des délais de basculement, afin que le cluster cesse d'osciller. La compaction est lancée sur les pires répertoires sous charge contrôlée, et les jobs producteurs sont corrigés pour que le nombre de fichiers cesse d'augmenter. Lorsque la prolifération est structurelle, on recourt à l'archivage et à des changements de format.

Solution

  1. Profilage de l'espace de noms à partir de l'analyse du fsimage, pour classer les répertoires selon leur nombre de fichiers rapporté aux octets stockés
  2. Réglage du dimensionnement du heap et de la configuration du GC du NameNode pour réduire la durée des pauses de collecte complète
  3. Ajustement des délais de basculement et de health check pour que les longues pauses de GC ne déclenchent plus de promotion inutile du NameNode de secours
  4. Compaction échelonnée des répertoires comptant le plus de fichiers, sous charge contrôlée, y compris la concaténation des tables Hive
  5. Correction des jobs producteurs : intervalle des batchs, nombre de partitions en sortie et choix de la colonne de partitionnement
  6. Archivage HAR ou migration de format pour les jeux de données froids qui doivent être conservés sans être interrogés directement

Résultat obtenu

Les pauses de GC reviennent dans une plage où le basculement ne se déclenche plus à tort, et le temps de redémarrage du NameNode est de nouveau maîtrisé. Comme les jobs producteurs sont corrigés au cours de la même mission, l'espace de noms ne regrossit plus vers le plafond.

Technologies

Apache HadoopApache HiveApache SparkYARN

Confronté à un incident de production Apache Hadoop ?

Les ingénieurs Apache Hadoop seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.