Présentation
La plupart des discussions que nous avons aujourd'hui autour de Pentaho portent sur sa sortie. Les équipes portent des centaines de transformations Kettle que seul un groupe de personnes de plus en plus restreint comprend, sur un runtime de plus en plus difficile à staffer et à licencier, qui alimente un entrepôt de données capable d'assurer lui-même l'essentiel du travail de transformation.
Défi
L'organisation avait accumulé environ quatre cents transformations et jobs en plus de dix ans. La logique métier résidait dans la configuration des étapes plutôt que dans du code, l'ordonnancement était réparti entre des jobs Kettle et un cron externe, et les deux ingénieurs qui connaissaient le mieux le parc approchaient de la retraite. Une réécriture complète avait été chiffrée en années et sans cesse repoussée.
Environnement
Pentaho Data Integration on-premise avec un cluster Carte, alimentant un entrepôt de données on-premise et un nombre croissant de cibles cloud.
Approche
AceMQ a défendu une migration progressive organisée par domaine de données plutôt que par transformation. Nous avons fait tourner extraction et transformation en parallèle, en comparant les sorties ligne à ligne jusqu'à ce que chaque domaine concorde, puis nous avons décommissionné le chemin Pentaho de ce seul domaine. L'extraction est passée sur un outil d'ingestion moderne ; la logique de transformation a été déplacée dans des modèles SQL natifs de l'entrepôt, là où elle a sa place.
Solution
- Analyse des fichiers KTR et KJB pour construire un graphe de dépendances et classer les transformations selon leur impact en aval
- Regroupement du parc en vagues de migration par domaine de données, et non par fichier
- Passage de l'extraction sur une couche d'ingestion moderne et réimplémentation de la logique de transformation sous forme de modèles SQL dans l'entrepôt
- Exécution en parallèle des anciens et des nouveaux pipelines, avec rapprochement automatisé au niveau des lignes et des agrégats pour chaque vague
- Retrait des jobs Pentaho domaine par domaine, uniquement une fois le rapprochement resté propre sur un cycle de reporting complet
- Formation de l'équipe interne à la nouvelle stack pendant la migration plutôt qu'après
Résultat obtenu
Les premières vagues ont basculé avec un rapprochement propre et sans trou dans le reporting, et l'empreinte Pentaho restante s'est réduite à un ensemble bien délimité de domaines, avec une date de fin planifiée. Surtout, la logique se retrouve dans du SQL versionné que toute l'équipe peut lire.