Descripción general
La mayoría de los clústeres de Hadoop que siguen en marcha viven de prestado: el proveedor de la distribución cambió, el hardware está a punto de renovarse y la experiencia operativa lleva años marchándose. AceMQ planifica y ejecuta la migración al almacenamiento de objetos con formatos de tabla abiertos, traduciendo las cargas de trabajo en lugar de trasladarlas a una forma que habrá que volver a migrar.
Reto
Un parque de Hadoop de diez años alberga miles de tablas de Hive, jobs de MapReduce cuyos autores ya no están, coordinadores de Oozie que nadie entiende del todo y una autorización basada en Kerberos expresada en políticas de Ranger que no encajan limpiamente en el IAM de la nube. No se puede apagar nada hasta encontrar a sus consumidores, y la lista de consumidores no está escrita en ninguna parte. El detonante suele ser la fecha de fin de vida útil del hardware, que deja menos tiempo del que requiere el trabajo.
Entorno
Distribuciones de Hadoop on-premise con HDFS, Hive, YARN, MapReduce, Oozie y Ranger, en migración a almacenamiento de objetos en la nube con Delta Lake o Iceberg.
Enfoque
AceMQ empieza descubriendo las dependencias a partir de los logs de consultas de HiveServer2, los logs de auditoría de HDFS y el historial del planificador para establecer qué se lee realmente y quién lo lee, que suele ser una fracción de lo que existe. Las cargas de trabajo se migran por dominios en oleadas con validación en doble ejecución, las consultas de MapReduce y Hive se traducen a Spark SQL en lugar de emularse y las políticas de Ranger se reconstruyen como permisos del catálogo. La retirada se programa por dominio una vez que los consumidores confirman el cambio.
Solución
- Descubrimiento de dependencias a partir de los logs de consultas de HiveServer2, los logs de auditoría de HDFS y el historial de Oozie para distinguir los datasets activos de los inactivos
- Elección del formato de tabla y rediseño de las particiones para el almacenamiento de objetos, en sustitución de las estructuras de la época de HDFS que presuponen un disco local
- Traducción de las cargas de trabajo de MapReduce y Hive a Spark SQL, con las UDF heredadas portadas o sustituidas en lugar de encapsuladas
- Conversión de los coordinadores de Oozie en DAG de Airflow conservando la semántica de dependencias
- Autorización de Ranger y Kerberos reconstruida como permisos a nivel de catálogo asignados a los grupos de identidad existentes
- Cambio por oleadas con conciliación en doble ejecución y un calendario de retirada por dominio
Resultado final
Los clientes abandonan el hardware de Hadoop y su compromiso de soporte según un calendario planificado, no bajo la presión de una renovación, y aterrizan en una plataforma donde el almacenamiento y la computación escalan de forma independiente. El descubrimiento de dependencias muestra sistemáticamente que una gran parte de los datos almacenados no tiene ningún consumidor activo y nunca necesita moverse.