Descripción general
La experiencia operativa en Hadoop lleva años desapareciendo del mercado, pero los clústeres siguen en producción y siguen ejecutando cargas de trabajo reguladas. AceMQ proporciona ingenieros sénior asignados, 24/7, para los clústeres que tienen que seguir funcionando hasta que termine la migración.
Reto
Entre los incidentes de producción habituales están una sola cola que acapara el clúster porque nunca se conciliaron sus valores de capacity y maximum-capacity, aplicaciones atascadas en ACCEPTED porque se ha agotado el porcentaje de recursos del ApplicationMaster, NodeManagers marcados como unhealthy por directorios locales llenos y contenedores terminados por superar la memoria física cuando el problema real es la sobrecarga de la JVM fuera del heap. Quien ya los ha visto los diagnostica en minutos; quien no, puede tardar días.
Entorno
Clústeres de Hadoop on-premise que ejecutan YARN con Capacity Scheduler o Fair Scheduler y cargas mixtas de Spark, Hive y MapReduce.
Enfoque
Los ingenieros de AceMQ trabajan con los logs del ResourceManager y de los NodeManagers, las métricas de las colas del scheduler y los códigos de salida de los contenedores para distinguir entre un problema de planificación, uno de recursos y uno de nodo. Primero se estabiliza y después se aplica el cambio en la configuración de las colas o en el dimensionamiento de memoria que evita que se repita.
Solución
- Objetivos de respuesta desde 15 minutos, según el plan, con ingenieros sénior asignados, 24/7, sin triaje de nivel 1
- Revisión de capacity, maximum-capacity y user-limit-factor de las colas para resolver la inanición y el crecimiento sin límite de las colas
- Diagnóstico de las aplicaciones atascadas en ACCEPTED, incluido el agotamiento del porcentaje de recursos del ApplicationMaster
- Diagnóstico del estado de los NodeManagers que abarca el agotamiento de los directorios locales y de logs y los umbrales de fallo de disco
- Dimensionamiento de la memoria de los contenedores teniendo en cuenta el heap, la sobrecarga y la relación vmem para evitar terminaciones que en realidad se deben a la sobrecarga de la JVM
- Configuración de preemption y de node labels donde cargas de trabajo mixtas con prioridades distintas deben compartir un clúster
Resultado final
Los clientes mantienen sus clústeres de Hadoop funcionando de forma fiable durante el periodo de migración sin tener que conservar una experiencia interna en Hadoop cada vez más escasa, y los incidentes recurrentes del scheduler se resuelven en la configuración en lugar de reiniciando el ResourceManager.