Torna a tutti i casi d'uso

ConsulenzaSanità / Benefit

Uscire da Pentaho senza riscrivere tutto in una volta

Ente pagatore del settore sanitario

Pianificazione ed esecuzione di un abbandono graduale di Pentaho Data Integration a favore di uno stack ELT moderno, senza un cutover big-bang di centinaia di trasformazioni.

Panoramica

Oggi la maggior parte delle conversazioni su Pentaho che facciamo riguarda l'uscita. I team si portano dietro centinaia di trasformazioni Kettle comprese solo da un gruppo di persone sempre più ristretto, su un runtime per cui è sempre più difficile trovare personale e licenze, che alimentano un warehouse in grado di svolgere da solo gran parte del lavoro di trasformazione.

Sfida

L'organizzazione aveva accumulato in oltre un decennio circa quattrocento tra trasformazioni e job. La logica di business risiedeva nelle configurazioni degli step anziché nel codice, la schedulazione era distribuita tra job Kettle e cron esterni e i due ingegneri che conoscevano meglio il parco erano prossimi alla pensione. Una riscrittura completa era stata stimata in anni ed era stata rimandata più volte.

Ambiente

Pentaho Data Integration on-premise con un cluster Carte, che alimenta un warehouse on-premise e un insieme crescente di destinazioni cloud.

Approccio

AceMQ ha spinto per una migrazione graduale organizzata per dominio di dati anziché per singola trasformazione. Abbiamo eseguito estrazione e trasformazione in parallelo, confrontando gli output riga per riga finché ogni dominio non coincideva, e solo allora abbiamo dismesso il percorso Pentaho per quel dominio. L'estrazione è passata a un moderno strumento di ingestione; la logica di trasformazione è stata spostata in modelli SQL nativi del warehouse, dove deve stare.

Soluzione

  1. Analisi dei file KTR e KJB per costruire un grafo delle dipendenze e ordinare le trasformazioni per impatto a valle
  2. Raggruppamento del parco in ondate di migrazione per dominio di dati, non per file
  3. Spostamento dell'estrazione su un livello di ingestione moderno e reimplementazione della logica di trasformazione come modelli SQL nel warehouse
  4. Esecuzione in parallelo delle vecchie e delle nuove pipeline con riconciliazione automatica a livello di riga e di aggregato per ogni ondata
  5. Dismissione dei job Pentaho per dominio solo dopo che la riconciliazione è rimasta pulita per un intero ciclo di reportistica
  6. Formazione del team interno sul nuovo stack durante la migrazione, non dopo

Esito

Le prime ondate hanno completato il cutover con riconciliazione pulita e senza lacune nella reportistica, e l'impronta residua di Pentaho si è ridotta a un insieme ben definito di domini con una data di fine pianificata. Soprattutto, la logica è finita in SQL sotto controllo di versione, leggibile da tutto il team.

Tecnologie

PentahoAirbytedbtPostgreSQLKubernetes

Vi servono indicazioni sull'architettura Pentaho?

Gli ingegneri Pentaho senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.