Descripción general
La mayoría de los clústeres de Hadoop que siguen en funcionamiento viven en tiempo prestado: el proveedor de la distribución cambió, el hardware debe renovarse y la experiencia operativa lleva años yéndose. AceMQ planifica y ejecuta la migración a almacenamiento de objetos con formatos de tabla abiertos, traduciendo las cargas de trabajo en lugar de trasladarlas a una forma que habrá que volver a migrar.
Desafío
Un ecosistema de Hadoop de diez años contiene miles de tablas de Hive, jobs de MapReduce cuyos autores ya no están, coordinadores de Oozie que nadie entiende del todo y una autorización basada en Kerberos expresada en políticas de Ranger que no se corresponden limpiamente con el IAM de la nube. No se puede apagar nada hasta encontrar a sus consumidores, y la lista de consumidores no está escrita en ninguna parte. El detonante suele ser una fecha de fin de vida útil del hardware, que deja menos tiempo del que el trabajo requiere.
Entorno
Distribuciones de Hadoop on-premises con HDFS, Hive, YARN, MapReduce, Oozie y Ranger, en migración a almacenamiento de objetos en la nube con Delta Lake o Iceberg.
Enfoque
AceMQ empieza por descubrir las dependencias a partir de los logs de consultas de HiveServer2, los logs de auditoría de HDFS y el historial del scheduler, para establecer qué se lee realmente y quién lo lee, que suele ser una fracción de lo que existe. Las cargas de trabajo migran por dominio en oleadas con validación en ejecución dual, las consultas de MapReduce y Hive se traducen a Spark SQL en lugar de emularse, y las políticas de Ranger se reconstruyen como permisos del catálogo. El desmantelamiento se programa por dominio una vez que los consumidores confirman el corte.
Solución
- Descubrimiento de dependencias a partir de los logs de consultas de HiveServer2, los logs de auditoría de HDFS y el historial de Oozie para distinguir los datasets activos de los inactivos
- Selección del formato de tabla y rediseño de particiones para almacenamiento de objetos, en reemplazo de los esquemas de la era de HDFS que suponen disco local
- Traducción de las cargas de trabajo de MapReduce y Hive a Spark SQL, con las UDF heredadas portadas o reemplazadas en lugar de encapsuladas
- Conversión de los coordinadores de Oozie a DAG de Airflow conservando la semántica de dependencias
- Autorización de Ranger y Kerberos reconstruida como permisos a nivel de catálogo mapeados a los grupos de identidad existentes
- Corte por oleadas con conciliación en ejecución dual y un cronograma de desmantelamiento por dominio
Resultado final
Los clientes salen del hardware de Hadoop y de su compromiso de soporte según un cronograma planificado y no bajo la presión de una renovación, y llegan a una plataforma donde el almacenamiento y el cómputo escalan de forma independiente. El descubrimiento de dependencias muestra de forma habitual que una gran parte de los datos almacenados no tiene ningún consumidor activo y nunca necesita moverse.