Volver a todos los casos de uso

SoporteGobierno / Defensa

Experiencia en Hadoop disponible a toda hora, para los clústeres que todavía tienen que funcionar

Organismo del sector público

Soporte con ingenieros asignados para la inanición de colas de YARN, las fallas de asignación de contenedores y la inestabilidad de los NodeManagers en clústeres de Hadoop en producción.

Descripción general

La experiencia operativa en Hadoop lleva años desapareciendo del mercado, pero los clústeres siguen en producción y siguen ejecutando cargas de trabajo reguladas. AceMQ ofrece ingenieros sénior asignados, 24/7, para los clústeres que tienen que seguir funcionando hasta que termine la migración.

Desafío

Entre los incidentes de producción más comunes están una sola cola que acapara el clúster porque nunca se conciliaron sus parámetros de capacity y maximum-capacity, aplicaciones atascadas en ACCEPTED porque se agotó el porcentaje de recursos del ApplicationMaster, NodeManagers marcados como unhealthy porque sus directorios locales están llenos, y contenedores eliminados por exceder la memoria física cuando el problema real es el overhead de la JVM fuera del heap. Alguien que ya los ha visto los diagnostica en minutos; a quien no los conoce puede llevarle días.

Entorno

Clústeres de Hadoop on-premises con YARN y Capacity Scheduler o Fair Scheduler, con cargas de trabajo mixtas de Spark, Hive y MapReduce.

Enfoque

Los ingenieros de AceMQ trabajan con los logs del ResourceManager y de los NodeManagers, las métricas de las colas del scheduler y los códigos de salida de los contenedores para distinguir si se trata de un problema de scheduling, de recursos o de un nodo. Primero se estabiliza el clúster y luego se aplica el cambio en la configuración de colas o en el dimensionamiento de memoria que evita que el problema se repita.

Solución

  1. Objetivos de respuesta desde 15 minutos, según el plan, con ingenieros sénior asignados, 24/7, sin triaje de nivel 1
  2. Revisión de capacity, maximum-capacity y user-limit-factor de las colas para resolver la inanición y el crecimiento sin límite de las colas
  3. Diagnóstico de las aplicaciones atascadas en ACCEPTED, incluido el agotamiento del porcentaje de recursos del ApplicationMaster
  4. Diagnóstico de la salud de los NodeManagers, que abarca el agotamiento de los directorios locales y de logs y los umbrales de falla de disco
  5. Dimensionamiento de la memoria de los contenedores considerando el heap, el overhead y la proporción de vmem, para detener las eliminaciones que en realidad se deben al overhead de la JVM
  6. Configuración de preemption y de node labels cuando cargas de trabajo mixtas con distintas prioridades deben compartir un clúster

Resultado final

Los clientes mantienen sus clústeres de Hadoop funcionando de forma confiable durante el período de migración sin tener que sostener una experiencia interna en Hadoop cada vez más escasa, y los incidentes recurrentes del scheduler se resuelven a nivel de configuración en lugar de reiniciando el ResourceManager.

Tecnologías

Apache HadoopYARNApache SparkApache Hive

¿Necesita soporte experto de Apache Hadoop?

Los ingenieros sénior de Apache Hadoop de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.