Présentation
L'expertise opérationnelle Hadoop se raréfie sur le marché depuis des années, mais les clusters sont toujours en production et portent encore des charges réglementées. AceMQ met à disposition des ingénieurs seniors attitrés, 24/7, pour les clusters qui doivent continuer de fonctionner jusqu'à la fin de la migration.
Défi
Les incidents de production les plus courants : une seule file qui accapare le cluster parce que ses paramètres capacity et maximum-capacity n'ont jamais été mis en cohérence, des applications bloquées à l'état ACCEPTED parce que le pourcentage de ressources réservé aux ApplicationMasters est épuisé, des NodeManagers déclarés unhealthy à cause de répertoires locaux pleins, et des conteneurs tués pour dépassement de la mémoire physique alors que le vrai problème est l'overhead de la JVM hors heap. Quelqu'un qui les a déjà rencontrés les diagnostique en quelques minutes ; pour quelqu'un qui ne les connaît pas, cela peut prendre des jours.
Environnement
Clusters Hadoop on-premise exécutant YARN avec le Capacity Scheduler ou le Fair Scheduler, et des charges mixtes Spark, Hive et MapReduce.
Approche
Les ingénieurs AceMQ s'appuient sur les logs du ResourceManager et des NodeManagers, les métriques des files de l'ordonnanceur et les codes de sortie des conteneurs pour distinguer un problème d'ordonnancement d'un problème de ressources ou d'un problème de nœud. La stabilisation passe en premier, suivie de la modification de la configuration des files ou du dimensionnement mémoire qui supprime la récurrence.
Solution
- Objectifs de réponse à partir de 15 minutes, selon le plan, avec des ingénieurs seniors attitrés, 24/7, sans tri de niveau 1
- Revue des paramètres capacity, maximum-capacity et user-limit-factor des files, pour résoudre les famines et la croissance illimitée des files
- Diagnostic des applications bloquées à l'état ACCEPTED, y compris l'épuisement du pourcentage de ressources des ApplicationMasters
- Diagnostic de la santé des NodeManagers couvrant la saturation des répertoires locaux et de logs ainsi que les seuils de défaillance disque
- Dimensionnement de la mémoire des conteneurs entre heap, overhead et ratio vmem, pour faire cesser les arrêts qui relèvent en réalité de l'overhead de la JVM
- Configuration de la préemption et des node labels lorsque des charges mixtes aux priorités différentes doivent partager un même cluster
Résultat obtenu
Les clients maintiennent leurs clusters Hadoop en fonctionnement fiable pendant toute la période de migration, sans avoir à entretenir en interne une expertise Hadoop devenue rare, et les incidents récurrents de l'ordonnanceur sont résolus au niveau de la configuration plutôt que par des redémarrages du ResourceManager.