Volver a todos los casos de uso

EvaluaciónEnergía / Servicios públicos

Recuperar lo que hacen realmente diez años de transformaciones de Kettle sin documentar

Holding de servicios públicos

Reconstrucción del linaje y de la documentación de un entorno sin documentar de transformaciones heredadas de Kettle, antes de que nadie intente modificarlas o sustituirlas.

Descripción general

No se puede migrar ni modificar con seguridad lo que no se puede leer. Los entornos de Pentaho con muchos años a sus espaldas no suelen tener documentación de linaje, y el XML de las transformaciones es la única especificación que sobrevive de las reglas de negocio.

Reto

La empresa había heredado un entorno de Pentaho a través de dos adquisiciones. No existía ningún diagrama de qué alimentaba a qué, varias transformaciones escribían en tablas de las que nadie sabía dar cuenta y al menos un job nocturno llevaba meses fallando parcialmente sin que nadie pudiera determinar si su salida seguía importando.

Entorno

Pentaho Data Integration on-premise que lee de SQL Server y de ficheros planos depositados y escribe en un data warehouse de reporting on-premise y en varias extracciones aguas abajo.

Enfoque

AceMQ analizó directamente el XML de las transformaciones y los jobs para extraer las tablas de origen y de destino, la lógica de cada paso y la orquestación de los jobs, y después contrastó esa imagen estática con los logs de ejecución y con la actividad real de escritura en la base de datos, para separar lo que se ejecuta de lo que simplemente existe.

Solución

  1. Análisis de los ficheros KTR y KJB para extraer el linaje a nivel de tabla y de columna sin necesidad de la herramienta de diseño
  2. Contraste del linaje estático con los logs de ejecución para distinguir los jobs activos de los inactivos
  3. Documentación de las reglas de negocio incrustadas en pasos de JavaScript, calculadoras y SQL escrito a mano
  4. Identificación de tablas de destino huérfanas y de transformaciones sin ningún consumidor aguas abajo
  5. Elaboración de diagramas de linaje y de un catálogo de reglas por transformación en un formato que el equipo puede mantener

Resultado final

El equipo obtuvo un mapa legible de un entorno que hasta entonces era prácticamente opaco, retiró un conjunto de jobs que se confirmó que no alimentaban nada y dispuso de los artefactos necesarios para definir el alcance de una sustitución con rigor, en lugar de hacer suposiciones.

Tecnologías

PentahoPostgreSQLSQL Serverdbt

¿Preparado para un health check de Pentaho?

Los ingenieros sénior de Pentaho de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.