Retour à tous les cas d'usage

SupportSecteur public / défense

Une expertise Hadoop d'astreinte, pour les clusters qui doivent continuer de tourner

Organisme public

Support assuré par des ingénieurs attitrés pour la famine des files YARN, les échecs d'allocation de conteneurs et l'instabilité des NodeManagers sur des clusters Hadoop de production.

Présentation

L'expertise opérationnelle Hadoop se raréfie sur le marché depuis des années, mais les clusters sont toujours en production et portent encore des charges réglementées. AceMQ met à disposition des ingénieurs seniors attitrés, 24/7, pour les clusters qui doivent continuer de fonctionner jusqu'à la fin de la migration.

Défi

Les incidents de production les plus courants : une seule file qui accapare le cluster parce que ses paramètres capacity et maximum-capacity n'ont jamais été mis en cohérence, des applications bloquées à l'état ACCEPTED parce que le pourcentage de ressources réservé aux ApplicationMasters est épuisé, des NodeManagers déclarés unhealthy à cause de répertoires locaux pleins, et des conteneurs tués pour dépassement de la mémoire physique alors que le vrai problème est l'overhead de la JVM hors heap. Quelqu'un qui les a déjà rencontrés les diagnostique en quelques minutes ; pour quelqu'un qui ne les connaît pas, cela peut prendre des jours.

Environnement

Clusters Hadoop on-premise exécutant YARN avec le Capacity Scheduler ou le Fair Scheduler, et des charges mixtes Spark, Hive et MapReduce.

Approche

Les ingénieurs AceMQ s'appuient sur les logs du ResourceManager et des NodeManagers, les métriques des files de l'ordonnanceur et les codes de sortie des conteneurs pour distinguer un problème d'ordonnancement d'un problème de ressources ou d'un problème de nœud. La stabilisation passe en premier, suivie de la modification de la configuration des files ou du dimensionnement mémoire qui supprime la récurrence.

Solution

  1. Objectifs de réponse à partir de 15 minutes, selon le plan, avec des ingénieurs seniors attitrés, 24/7, sans tri de niveau 1
  2. Revue des paramètres capacity, maximum-capacity et user-limit-factor des files, pour résoudre les famines et la croissance illimitée des files
  3. Diagnostic des applications bloquées à l'état ACCEPTED, y compris l'épuisement du pourcentage de ressources des ApplicationMasters
  4. Diagnostic de la santé des NodeManagers couvrant la saturation des répertoires locaux et de logs ainsi que les seuils de défaillance disque
  5. Dimensionnement de la mémoire des conteneurs entre heap, overhead et ratio vmem, pour faire cesser les arrêts qui relèvent en réalité de l'overhead de la JVM
  6. Configuration de la préemption et des node labels lorsque des charges mixtes aux priorités différentes doivent partager un même cluster

Résultat obtenu

Les clients maintiennent leurs clusters Hadoop en fonctionnement fiable pendant toute la période de migration, sans avoir à entretenir en interne une expertise Hadoop devenue rare, et les incidents récurrents de l'ordonnanceur sont résolus au niveau de la configuration plutôt que par des redémarrages du ResourceManager.

Technologies

Apache HadoopYARNApache SparkApache Hive

Besoin d'un support Apache Hadoop expert ?

Les ingénieurs Apache Hadoop seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.