Présentation
On ne peut pas migrer ni modifier sans risque ce que l'on ne sait pas lire. Les parcs Pentaho anciens n'ont généralement aucune documentation de lignage, et le XML des transformations est la seule spécification des règles métier qui subsiste.
Défi
L'entreprise avait hérité d'un parc Pentaho à la suite de deux acquisitions. Il n'existait aucun schéma de qui alimentait quoi, plusieurs transformations écrivaient dans des tables dont personne ne pouvait expliquer l'usage, et au moins un job nocturne échouait partiellement depuis des mois sans que personne ne puisse déterminer si sa sortie servait encore.
Environnement
Pentaho Data Integration on-premise lisant depuis SQL Server et des dépôts de fichiers plats, et écrivant dans un entrepôt de reporting on-premise ainsi que dans plusieurs extractions en aval.
Approche
AceMQ a analysé directement le XML des transformations et des jobs pour en extraire les tables sources, les tables cibles, la logique de chaque étape et l'orchestration des jobs, puis a confronté cette vision statique aux logs d'exécution et à l'activité d'écriture réelle en base, afin de distinguer ce qui tourne de ce qui existe simplement.
Solution
- Analyse des fichiers KTR et KJB pour extraire le lignage au niveau des tables et des colonnes, sans avoir besoin de l'outil de conception
- Rapprochement du lignage statique avec les logs d'exécution pour distinguer les jobs actifs des jobs dormants
- Documentation des règles métier embarquées dans les étapes JavaScript, les calculators et le SQL écrit à la main
- Identification des tables cibles orphelines et des transformations sans consommateur en aval
- Production de diagrammes de lignage et d'un catalogue de règles par transformation, dans un format que l'équipe peut maintenir
Résultat obtenu
L'équipe dispose d'une cartographie lisible d'un parc qui était de fait opaque, a retiré un ensemble de jobs dont il a été confirmé qu'ils n'alimentaient rien, et dispose des éléments nécessaires pour cadrer un remplacement de façon honnête plutôt qu'à l'aveugle.