Descripción general
No se puede migrar ni modificar con seguridad lo que no se puede leer. Los entornos de Pentaho de larga data normalmente no tienen documentación de linaje, y el XML de las transformaciones es la única especificación que sobrevive de las reglas de negocio.
Desafío
La empresa había heredado un entorno de Pentaho a través de dos adquisiciones. No había ningún diagrama de qué alimentaba a qué, varias transformaciones escribían en tablas cuya existencia nadie podía explicar, y al menos un job nocturno llevaba meses fallando parcialmente sin que nadie pudiera determinar si su resultado todavía importaba.
Entorno
Pentaho Data Integration on-premises que lee de SQL Server y de archivos planos depositados, y escribe en un data warehouse de reportes on-premises y en varios extractos aguas abajo.
Enfoque
AceMQ analizó directamente el XML de las transformaciones y los jobs para extraer las tablas de origen, las tablas de destino, la lógica de cada paso y la orquestación de los jobs, y luego concilió esa imagen estática con los logs de ejecución y la actividad real de escritura en la base de datos para separar lo que se ejecuta de lo que simplemente existe.
Solución
- Análisis de los archivos KTR y KJB para extraer el linaje a nivel de tabla y de columna sin necesidad de la herramienta de diseño
- Conciliación del linaje estático con los logs de ejecución para distinguir los jobs activos de los inactivos
- Documentación de las reglas de negocio embebidas en pasos de JavaScript, calculadoras y SQL escrito a mano
- Identificación de tablas de destino huérfanas y de transformaciones sin ningún consumidor aguas abajo
- Elaboración de diagramas de linaje y de un catálogo de reglas por transformación en un formato que el equipo puede mantener
Resultado final
El equipo obtuvo un mapa legible de un entorno que había sido prácticamente opaco, retiró un conjunto de jobs que se confirmó que no alimentaban nada y contó con los artefactos necesarios para definir el alcance de un reemplazo con rigor, en lugar de hacer suposiciones.