Descripción general
Antes de comprometer presupuesto en una migración de Hadoop, la dirección necesita una respuesta basada en evidencia sobre qué hay en el clúster, qué sigue siendo importante y cuánto tiempo llevará la salida. AceMQ elabora ese inventario y un plan secuenciado con estimaciones de esfuerzo.
Desafío
El estado real del clúster no está documentado. Nadie puede decir cuáles de las varias miles de tablas de Hive se siguen leyendo, qué colas de YARN ejecutan trabajo de producción y cuáles corresponden a experimentos abandonados, ni qué jobs alimentan los reportes regulatorios y, por lo tanto, no pueden interrumpirse. Las estimaciones que se dan sin esta información son conjeturas, y los programas de migración basados en conjeturas se alargan.
Entorno
Clústeres de Hadoop on-premises con HDFS, Hive y YARN, y cargas de trabajo mixtas de Spark, MapReduce y Hive sobre una distribución comercial o comunitaria.
Enfoque
AceMQ instrumenta los propios logs de auditoría y de consultas del clúster durante un período representativo, en lugar de basarse en entrevistas. Cada tabla recibe una marca de última lectura y una lista de consumidores; cada job, un perfil de tiempo de ejecución, recursos y criticidad. El costo operativo se modela incluyendo hardware, soporte, energía y el tiempo del personal absorbido por el mantenimiento del clúster, y se compara con la plataforma de destino.
Solución
- Perfilado del acceso a nivel de tabla a partir de los logs de auditoría de HDFS y de HiveServer2, que asigna a cada dataset una fecha de última lectura y una lista de consumidores
- Inventario de jobs en todas las colas de YARN, con tiempo de ejecución, huella de recursos y clasificación de criticidad para el negocio
- Modelo de costos del estado actual que abarca la renovación del hardware, el soporte de la distribución, la energía y el espacio en racks, y el tiempo del personal de operaciones
- Revisión de la exposición por versiones y CVE en todo el stack de componentes de la distribución
- Secuencia de oleadas de migración ordenada por profundidad de dependencias y riesgo para el negocio, con estimaciones de esfuerzo por oleada
- Recomendación de retirar o migrar cada dataset y cada job, con los datos inactivos señalados para archivado en lugar de migración
Resultado final
Los clientes obtienen un caso de negocio para la migración bien fundamentado, respaldado por datos de acceso medidos y no por estimaciones, y un plan por oleadas al que se le pueden asignar recursos. Solo el hallazgo de datos inactivos suele eliminar una parte sustancial del alcance de migración que se había supuesto.