Retour à tous les cas d'usage

ConseilSanté / prévoyance

Sortir de Pentaho sans tout réécrire d'un coup

Organisme d'assurance santé

Planifier et conduire une sortie progressive de Pentaho Data Integration vers une stack ELT moderne, sans bascule en big bang de centaines de transformations.

Présentation

La plupart des discussions que nous avons aujourd'hui autour de Pentaho portent sur sa sortie. Les équipes portent des centaines de transformations Kettle que seul un groupe de personnes de plus en plus restreint comprend, sur un runtime de plus en plus difficile à staffer et à licencier, qui alimente un entrepôt de données capable d'assurer lui-même l'essentiel du travail de transformation.

Défi

L'organisation avait accumulé environ quatre cents transformations et jobs en plus de dix ans. La logique métier résidait dans la configuration des étapes plutôt que dans du code, l'ordonnancement était réparti entre des jobs Kettle et un cron externe, et les deux ingénieurs qui connaissaient le mieux le parc approchaient de la retraite. Une réécriture complète avait été chiffrée en années et sans cesse repoussée.

Environnement

Pentaho Data Integration on-premise avec un cluster Carte, alimentant un entrepôt de données on-premise et un nombre croissant de cibles cloud.

Approche

AceMQ a défendu une migration progressive organisée par domaine de données plutôt que par transformation. Nous avons fait tourner extraction et transformation en parallèle, en comparant les sorties ligne à ligne jusqu'à ce que chaque domaine concorde, puis nous avons décommissionné le chemin Pentaho de ce seul domaine. L'extraction est passée sur un outil d'ingestion moderne ; la logique de transformation a été déplacée dans des modèles SQL natifs de l'entrepôt, là où elle a sa place.

Solution

  1. Analyse des fichiers KTR et KJB pour construire un graphe de dépendances et classer les transformations selon leur impact en aval
  2. Regroupement du parc en vagues de migration par domaine de données, et non par fichier
  3. Passage de l'extraction sur une couche d'ingestion moderne et réimplémentation de la logique de transformation sous forme de modèles SQL dans l'entrepôt
  4. Exécution en parallèle des anciens et des nouveaux pipelines, avec rapprochement automatisé au niveau des lignes et des agrégats pour chaque vague
  5. Retrait des jobs Pentaho domaine par domaine, uniquement une fois le rapprochement resté propre sur un cycle de reporting complet
  6. Formation de l'équipe interne à la nouvelle stack pendant la migration plutôt qu'après

Résultat obtenu

Les premières vagues ont basculé avec un rapprochement propre et sans trou dans le reporting, et l'empreinte Pentaho restante s'est réduite à un ensemble bien délimité de domaines, avec une date de fin planifiée. Surtout, la logique se retrouve dans du SQL versionné que toute l'équipe peut lire.

Technologies

PentahoAirbytedbtPostgreSQLKubernetes

Besoin de conseils en architecture Pentaho ?

Les ingénieurs Pentaho seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.