Descripción general
No se puede migrar ni modificar con seguridad lo que no se puede leer. Los entornos de Pentaho con muchos años a sus espaldas no suelen tener documentación de linaje, y el XML de las transformaciones es la única especificación que sobrevive de las reglas de negocio.
Reto
La empresa había heredado un entorno de Pentaho a través de dos adquisiciones. No existía ningún diagrama de qué alimentaba a qué, varias transformaciones escribían en tablas de las que nadie sabía dar cuenta y al menos un job nocturno llevaba meses fallando parcialmente sin que nadie pudiera determinar si su salida seguía importando.
Entorno
Pentaho Data Integration on-premise que lee de SQL Server y de ficheros planos depositados y escribe en un data warehouse de reporting on-premise y en varias extracciones aguas abajo.
Enfoque
AceMQ analizó directamente el XML de las transformaciones y los jobs para extraer las tablas de origen y de destino, la lógica de cada paso y la orquestación de los jobs, y después contrastó esa imagen estática con los logs de ejecución y con la actividad real de escritura en la base de datos, para separar lo que se ejecuta de lo que simplemente existe.
Solución
- Análisis de los ficheros KTR y KJB para extraer el linaje a nivel de tabla y de columna sin necesidad de la herramienta de diseño
- Contraste del linaje estático con los logs de ejecución para distinguir los jobs activos de los inactivos
- Documentación de las reglas de negocio incrustadas en pasos de JavaScript, calculadoras y SQL escrito a mano
- Identificación de tablas de destino huérfanas y de transformaciones sin ningún consumidor aguas abajo
- Elaboración de diagramas de linaje y de un catálogo de reglas por transformación en un formato que el equipo puede mantener
Resultado final
El equipo obtuvo un mapa legible de un entorno que hasta entonces era prácticamente opaco, retiró un conjunto de jobs que se confirmó que no alimentaban nada y dispuso de los artefactos necesarios para definir el alcance de una sustitución con rigor, en lugar de hacer suposiciones.