Descripción general
La experiencia operativa en Hadoop lleva años desapareciendo del mercado, pero los clústeres siguen en producción y siguen ejecutando cargas de trabajo reguladas. AceMQ ofrece ingenieros sénior asignados, 24/7, para los clústeres que tienen que seguir funcionando hasta que termine la migración.
Desafío
Entre los incidentes de producción más comunes están una sola cola que acapara el clúster porque nunca se conciliaron sus parámetros de capacity y maximum-capacity, aplicaciones atascadas en ACCEPTED porque se agotó el porcentaje de recursos del ApplicationMaster, NodeManagers marcados como unhealthy porque sus directorios locales están llenos, y contenedores eliminados por exceder la memoria física cuando el problema real es el overhead de la JVM fuera del heap. Alguien que ya los ha visto los diagnostica en minutos; a quien no los conoce puede llevarle días.
Entorno
Clústeres de Hadoop on-premises con YARN y Capacity Scheduler o Fair Scheduler, con cargas de trabajo mixtas de Spark, Hive y MapReduce.
Enfoque
Los ingenieros de AceMQ trabajan con los logs del ResourceManager y de los NodeManagers, las métricas de las colas del scheduler y los códigos de salida de los contenedores para distinguir si se trata de un problema de scheduling, de recursos o de un nodo. Primero se estabiliza el clúster y luego se aplica el cambio en la configuración de colas o en el dimensionamiento de memoria que evita que el problema se repita.
Solución
- Objetivos de respuesta desde 15 minutos, según el plan, con ingenieros sénior asignados, 24/7, sin triaje de nivel 1
- Revisión de capacity, maximum-capacity y user-limit-factor de las colas para resolver la inanición y el crecimiento sin límite de las colas
- Diagnóstico de las aplicaciones atascadas en ACCEPTED, incluido el agotamiento del porcentaje de recursos del ApplicationMaster
- Diagnóstico de la salud de los NodeManagers, que abarca el agotamiento de los directorios locales y de logs y los umbrales de falla de disco
- Dimensionamiento de la memoria de los contenedores considerando el heap, el overhead y la proporción de vmem, para detener las eliminaciones que en realidad se deben al overhead de la JVM
- Configuración de preemption y de node labels cuando cargas de trabajo mixtas con distintas prioridades deben compartir un clúster
Resultado final
Los clientes mantienen sus clústeres de Hadoop funcionando de forma confiable durante el período de migración sin tener que sostener una experiencia interna en Hadoop cada vez más escasa, y los incidentes recurrentes del scheduler se resuelven a nivel de configuración en lugar de reiniciando el ResourceManager.