Volver a todos los casos de uso

EvaluaciónEnergía / Servicios públicos

Recuperar lo que realmente hace una década de transformaciones de Kettle sin documentar

Holding de servicios públicos

Reconstrucción del linaje y la documentación de un conjunto no documentado de transformaciones heredadas de Kettle, antes de que alguien intente modificarlas o reemplazarlas.

Descripción general

No se puede migrar ni modificar con seguridad lo que no se puede leer. Los entornos de Pentaho de larga data normalmente no tienen documentación de linaje, y el XML de las transformaciones es la única especificación que sobrevive de las reglas de negocio.

Desafío

La empresa había heredado un entorno de Pentaho a través de dos adquisiciones. No había ningún diagrama de qué alimentaba a qué, varias transformaciones escribían en tablas cuya existencia nadie podía explicar, y al menos un job nocturno llevaba meses fallando parcialmente sin que nadie pudiera determinar si su resultado todavía importaba.

Entorno

Pentaho Data Integration on-premises que lee de SQL Server y de archivos planos depositados, y escribe en un data warehouse de reportes on-premises y en varios extractos aguas abajo.

Enfoque

AceMQ analizó directamente el XML de las transformaciones y los jobs para extraer las tablas de origen, las tablas de destino, la lógica de cada paso y la orquestación de los jobs, y luego concilió esa imagen estática con los logs de ejecución y la actividad real de escritura en la base de datos para separar lo que se ejecuta de lo que simplemente existe.

Solución

  1. Análisis de los archivos KTR y KJB para extraer el linaje a nivel de tabla y de columna sin necesidad de la herramienta de diseño
  2. Conciliación del linaje estático con los logs de ejecución para distinguir los jobs activos de los inactivos
  3. Documentación de las reglas de negocio embebidas en pasos de JavaScript, calculadoras y SQL escrito a mano
  4. Identificación de tablas de destino huérfanas y de transformaciones sin ningún consumidor aguas abajo
  5. Elaboración de diagramas de linaje y de un catálogo de reglas por transformación en un formato que el equipo puede mantener

Resultado final

El equipo obtuvo un mapa legible de un entorno que había sido prácticamente opaco, retiró un conjunto de jobs que se confirmó que no alimentaban nada y contó con los artefactos necesarios para definir el alcance de un reemplazo con rigor, en lugar de hacer suposiciones.

Tecnologías

PentahoPostgreSQLSQL Serverdbt

¿Listo para un health check de Pentaho?

Los ingenieros sénior de Pentaho de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.