Retour à tous les cas d'usage

AuditÉnergie / services publics

Retrouver ce que font réellement dix ans de transformations Kettle non documentées

Holding de services publics

Reconstituer le lignage et la documentation d'un parc non documenté de transformations Kettle legacy, avant que quiconque ne tente de les modifier ou de les remplacer.

Présentation

On ne peut pas migrer ni modifier sans risque ce que l'on ne sait pas lire. Les parcs Pentaho anciens n'ont généralement aucune documentation de lignage, et le XML des transformations est la seule spécification des règles métier qui subsiste.

Défi

L'entreprise avait hérité d'un parc Pentaho à la suite de deux acquisitions. Il n'existait aucun schéma de qui alimentait quoi, plusieurs transformations écrivaient dans des tables dont personne ne pouvait expliquer l'usage, et au moins un job nocturne échouait partiellement depuis des mois sans que personne ne puisse déterminer si sa sortie servait encore.

Environnement

Pentaho Data Integration on-premise lisant depuis SQL Server et des dépôts de fichiers plats, et écrivant dans un entrepôt de reporting on-premise ainsi que dans plusieurs extractions en aval.

Approche

AceMQ a analysé directement le XML des transformations et des jobs pour en extraire les tables sources, les tables cibles, la logique de chaque étape et l'orchestration des jobs, puis a confronté cette vision statique aux logs d'exécution et à l'activité d'écriture réelle en base, afin de distinguer ce qui tourne de ce qui existe simplement.

Solution

  1. Analyse des fichiers KTR et KJB pour extraire le lignage au niveau des tables et des colonnes, sans avoir besoin de l'outil de conception
  2. Rapprochement du lignage statique avec les logs d'exécution pour distinguer les jobs actifs des jobs dormants
  3. Documentation des règles métier embarquées dans les étapes JavaScript, les calculators et le SQL écrit à la main
  4. Identification des tables cibles orphelines et des transformations sans consommateur en aval
  5. Production de diagrammes de lignage et d'un catalogue de règles par transformation, dans un format que l'équipe peut maintenir

Résultat obtenu

L'équipe dispose d'une cartographie lisible d'un parc qui était de fait opaque, a retiré un ensemble de jobs dont il a été confirmé qu'ils n'alimentaient rien, et dispose des éléments nécessaires pour cadrer un remplacement de façon honnête plutôt qu'à l'aveugle.

Technologies

PentahoPostgreSQLSQL Serverdbt

Prêt pour un bilan de santé Pentaho ?

Les ingénieurs Pentaho seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.