Panoramica
Non si può migrare né modificare in sicurezza ciò che non si riesce a leggere. I parchi Pentaho di lunga data in genere non hanno documentazione di lineage, e l'XML delle trasformazioni è l'unica specifica superstite delle regole di business.
Sfida
L'azienda aveva ereditato un parco Pentaho attraverso due acquisizioni. Non esisteva alcun diagramma di che cosa alimentasse che cosa, diverse trasformazioni scrivevano su tabelle di cui nessuno sapeva rendere conto e almeno un job notturno falliva parzialmente da mesi senza che nessuno riuscisse a stabilire se il suo output servisse ancora.
Ambiente
Pentaho Data Integration on-premises che legge da SQL Server e da file flat depositati, e scrive su un data warehouse di reporting on-premises e su diverse estrazioni a valle.
Approccio
AceMQ ha analizzato direttamente l'XML di trasformazioni e job per estrarre tabelle di origine, tabelle di destinazione, logica dei singoli step e orchestrazione dei job, poi ha confrontato questo quadro statico con i log di runtime e con l'attività di scrittura effettiva sul database, per distinguere ciò che gira da ciò che semplicemente esiste.
Soluzione
- Analisi dei file KTR e KJB per estrarre il lineage a livello di tabella e di colonna senza bisogno dello strumento di design
- Confronto del lineage statico con i log di runtime per distinguere i job attivi da quelli dormienti
- Documentazione delle regole di business incorporate negli step JavaScript, nei calculator e nell'SQL scritto a mano
- Individuazione delle tabelle di destinazione orfane e delle trasformazioni senza alcun consumer a valle
- Produzione di diagrammi di lineage e di un catalogo delle regole per ciascuna trasformazione, in un formato che il team può mantenere
Esito
Il team ha ottenuto una mappa leggibile di un parco che era di fatto opaco, ha dismesso una serie di job che si è verificato non alimentare nulla e dispone degli elementi necessari per definire con onestà il perimetro di una sostituzione invece di andare a intuito.