Volver a todos los casos de uso

ConsultoríaMultisectorial

Salga de Hadoop de forma planificada, antes de que la renovación del hardware lo obligue a decidir

Aseguradora nacional

Salida de un clúster de Hadoop envejecido hacia almacenamiento de objetos y formatos de tabla abiertos, traduciendo las cargas de trabajo de Hive, MapReduce y Oozie en lugar de trasladarlas tal cual.

Descripción general

La mayoría de los clústeres de Hadoop que siguen en funcionamiento viven en tiempo prestado: el proveedor de la distribución cambió, el hardware debe renovarse y la experiencia operativa lleva años yéndose. AceMQ planifica y ejecuta la migración a almacenamiento de objetos con formatos de tabla abiertos, traduciendo las cargas de trabajo en lugar de trasladarlas a una forma que habrá que volver a migrar.

Desafío

Un ecosistema de Hadoop de diez años contiene miles de tablas de Hive, jobs de MapReduce cuyos autores ya no están, coordinadores de Oozie que nadie entiende del todo y una autorización basada en Kerberos expresada en políticas de Ranger que no se corresponden limpiamente con el IAM de la nube. No se puede apagar nada hasta encontrar a sus consumidores, y la lista de consumidores no está escrita en ninguna parte. El detonante suele ser una fecha de fin de vida útil del hardware, que deja menos tiempo del que el trabajo requiere.

Entorno

Distribuciones de Hadoop on-premises con HDFS, Hive, YARN, MapReduce, Oozie y Ranger, en migración a almacenamiento de objetos en la nube con Delta Lake o Iceberg.

Enfoque

AceMQ empieza por descubrir las dependencias a partir de los logs de consultas de HiveServer2, los logs de auditoría de HDFS y el historial del scheduler, para establecer qué se lee realmente y quién lo lee, que suele ser una fracción de lo que existe. Las cargas de trabajo migran por dominio en oleadas con validación en ejecución dual, las consultas de MapReduce y Hive se traducen a Spark SQL en lugar de emularse, y las políticas de Ranger se reconstruyen como permisos del catálogo. El desmantelamiento se programa por dominio una vez que los consumidores confirman el corte.

Solución

  1. Descubrimiento de dependencias a partir de los logs de consultas de HiveServer2, los logs de auditoría de HDFS y el historial de Oozie para distinguir los datasets activos de los inactivos
  2. Selección del formato de tabla y rediseño de particiones para almacenamiento de objetos, en reemplazo de los esquemas de la era de HDFS que suponen disco local
  3. Traducción de las cargas de trabajo de MapReduce y Hive a Spark SQL, con las UDF heredadas portadas o reemplazadas en lugar de encapsuladas
  4. Conversión de los coordinadores de Oozie a DAG de Airflow conservando la semántica de dependencias
  5. Autorización de Ranger y Kerberos reconstruida como permisos a nivel de catálogo mapeados a los grupos de identidad existentes
  6. Corte por oleadas con conciliación en ejecución dual y un cronograma de desmantelamiento por dominio

Resultado final

Los clientes salen del hardware de Hadoop y de su compromiso de soporte según un cronograma planificado y no bajo la presión de una renovación, y llegan a una plataforma donde el almacenamiento y el cómputo escalan de forma independiente. El descubrimiento de dependencias muestra de forma habitual que una gran parte de los datos almacenados no tiene ningún consumidor activo y nunca necesita moverse.

Tecnologías

Apache HadoopApache SparkDelta LakeApache Airflow

¿Necesita orientación de arquitectura para Apache Hadoop?

Los ingenieros sénior de Apache Hadoop de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.