Descripción general
Antes de comprometer presupuesto en una migración de Hadoop, la dirección necesita una respuesta basada en datos sobre qué hay en el clúster, qué sigue importando y cuánto tiempo llevará la salida. AceMQ elabora ese inventario y un plan secuenciado con estimaciones de esfuerzo.
Reto
El estado real del clúster no está documentado. Nadie sabe cuáles de los varios miles de tablas de Hive se siguen leyendo, qué colas de YARN soportan trabajo de producción y cuáles experimentos abandonados, ni qué jobs alimentan informes regulatorios y, por tanto, no se pueden interrumpir. Las estimaciones hechas sin esta información son conjeturas, y los programas de migración basados en conjeturas se alargan.
Entorno
Clústeres de Hadoop on-premises con HDFS, Hive y YARN y una mezcla de cargas de Spark, MapReduce y Hive sobre una distribución comercial o de la comunidad.
Enfoque
AceMQ instrumenta los propios logs de auditoría y de consultas del clúster durante un periodo representativo, en lugar de basarse en entrevistas. Cada tabla obtiene una fecha de última lectura y una lista de consumidores; cada job, un perfil de tiempo de ejecución, recursos y criticidad. El coste operativo se modela incluyendo hardware, soporte, energía y el tiempo del personal que absorbe el mantenimiento del clúster, y se compara con el de la plataforma de destino.
Solución
- Perfilado del acceso a nivel de tabla a partir de los logs de auditoría de HDFS y de HiveServer2, con una fecha de última lectura y una lista de consumidores para cada conjunto de datos
- Inventario de jobs en todas las colas de YARN con tiempo de ejecución, consumo de recursos y clasificación por criticidad para el negocio
- Modelo de costes de la situación actual que cubre la renovación de hardware, el soporte de la distribución, la energía y el rack, y el tiempo del personal de operaciones
- Revisión de versiones y de la exposición a CVE en toda la pila de componentes de la distribución
- Secuenciación de la migración en oleadas ordenadas por profundidad de dependencias y riesgo para el negocio, con estimaciones de esfuerzo por oleada
- Recomendación de retirar o migrar para cada conjunto de datos y cada job, señalando los datos inactivos para archivarlos en lugar de migrarlos
Resultado final
Los clientes obtienen un caso de negocio de migración defendible, respaldado por datos de acceso medidos en lugar de estimaciones, y un plan por oleadas al que se pueden asignar recursos. Solo el hallazgo de los datos inactivos suele eliminar una parte sustancial del alcance de migración previsto.