Volver a todos los casos de uso

EvaluaciónEnergía / Servicios públicos

El inventario y el calendario que necesita antes de comprometerse a abandonar Hadoop

Operador regional de servicios públicos

Determinar qué se ejecuta realmente en un clúster de Hadoop, cuánto cuesta mantenerlo y qué secuencia y calendario de migración son defendibles.

Descripción general

Antes de comprometer presupuesto en una migración de Hadoop, la dirección necesita una respuesta basada en datos sobre qué hay en el clúster, qué sigue importando y cuánto tiempo llevará la salida. AceMQ elabora ese inventario y un plan secuenciado con estimaciones de esfuerzo.

Reto

El estado real del clúster no está documentado. Nadie sabe cuáles de los varios miles de tablas de Hive se siguen leyendo, qué colas de YARN soportan trabajo de producción y cuáles experimentos abandonados, ni qué jobs alimentan informes regulatorios y, por tanto, no se pueden interrumpir. Las estimaciones hechas sin esta información son conjeturas, y los programas de migración basados en conjeturas se alargan.

Entorno

Clústeres de Hadoop on-premises con HDFS, Hive y YARN y una mezcla de cargas de Spark, MapReduce y Hive sobre una distribución comercial o de la comunidad.

Enfoque

AceMQ instrumenta los propios logs de auditoría y de consultas del clúster durante un periodo representativo, en lugar de basarse en entrevistas. Cada tabla obtiene una fecha de última lectura y una lista de consumidores; cada job, un perfil de tiempo de ejecución, recursos y criticidad. El coste operativo se modela incluyendo hardware, soporte, energía y el tiempo del personal que absorbe el mantenimiento del clúster, y se compara con el de la plataforma de destino.

Solución

  1. Perfilado del acceso a nivel de tabla a partir de los logs de auditoría de HDFS y de HiveServer2, con una fecha de última lectura y una lista de consumidores para cada conjunto de datos
  2. Inventario de jobs en todas las colas de YARN con tiempo de ejecución, consumo de recursos y clasificación por criticidad para el negocio
  3. Modelo de costes de la situación actual que cubre la renovación de hardware, el soporte de la distribución, la energía y el rack, y el tiempo del personal de operaciones
  4. Revisión de versiones y de la exposición a CVE en toda la pila de componentes de la distribución
  5. Secuenciación de la migración en oleadas ordenadas por profundidad de dependencias y riesgo para el negocio, con estimaciones de esfuerzo por oleada
  6. Recomendación de retirar o migrar para cada conjunto de datos y cada job, señalando los datos inactivos para archivarlos en lugar de migrarlos

Resultado final

Los clientes obtienen un caso de negocio de migración defendible, respaldado por datos de acceso medidos en lugar de estimaciones, y un plan por oleadas al que se pueden asignar recursos. Solo el hallazgo de los datos inactivos suele eliminar una parte sustancial del alcance de migración previsto.

Tecnologías

Apache HadoopApache HiveApache SparkYARN

¿Preparado para un health check de Apache Hadoop?

Los ingenieros sénior de Apache Hadoop de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.