Panoramica
Oggi la maggior parte delle conversazioni su Pentaho che facciamo riguarda l'uscita. I team si portano dietro centinaia di trasformazioni Kettle comprese solo da un gruppo di persone sempre più ristretto, su un runtime per cui è sempre più difficile trovare personale e licenze, che alimentano un warehouse in grado di svolgere da solo gran parte del lavoro di trasformazione.
Sfida
L'organizzazione aveva accumulato in oltre un decennio circa quattrocento tra trasformazioni e job. La logica di business risiedeva nelle configurazioni degli step anziché nel codice, la schedulazione era distribuita tra job Kettle e cron esterni e i due ingegneri che conoscevano meglio il parco erano prossimi alla pensione. Una riscrittura completa era stata stimata in anni ed era stata rimandata più volte.
Ambiente
Pentaho Data Integration on-premise con un cluster Carte, che alimenta un warehouse on-premise e un insieme crescente di destinazioni cloud.
Approccio
AceMQ ha spinto per una migrazione graduale organizzata per dominio di dati anziché per singola trasformazione. Abbiamo eseguito estrazione e trasformazione in parallelo, confrontando gli output riga per riga finché ogni dominio non coincideva, e solo allora abbiamo dismesso il percorso Pentaho per quel dominio. L'estrazione è passata a un moderno strumento di ingestione; la logica di trasformazione è stata spostata in modelli SQL nativi del warehouse, dove deve stare.
Soluzione
- Analisi dei file KTR e KJB per costruire un grafo delle dipendenze e ordinare le trasformazioni per impatto a valle
- Raggruppamento del parco in ondate di migrazione per dominio di dati, non per file
- Spostamento dell'estrazione su un livello di ingestione moderno e reimplementazione della logica di trasformazione come modelli SQL nel warehouse
- Esecuzione in parallelo delle vecchie e delle nuove pipeline con riconciliazione automatica a livello di riga e di aggregato per ogni ondata
- Dismissione dei job Pentaho per dominio solo dopo che la riconciliazione è rimasta pulita per un intero ciclo di reportistica
- Formazione del team interno sul nuovo stack durante la migrazione, non dopo
Esito
Le prime ondate hanno completato il cutover con riconciliazione pulita e senza lacune nella reportistica, e l'impronta residua di Pentaho si è ridotta a un insieme ben definito di domini con una data di fine pianificata. Soprattutto, la logica è finita in SQL sotto controllo di versione, leggibile da tutto il team.