Überblick
Die meisten Gespräche über Pentaho, die wir heute führen, sind Ausstiegsgespräche. Teams schleppen Hunderte von Kettle-Transformationen mit, die nur noch ein schrumpfender Kreis von Leuten versteht, auf einer Runtime, für die es immer schwieriger wird, Personal und Lizenzen zu bekommen – und sie speisen ein Warehouse, das den Großteil der Transformationsarbeit selbst erledigen könnte.
Herausforderung
Die Organisation hatte über mehr als ein Jahrzehnt rund vierhundert Transformationen und Jobs angesammelt. Die Geschäftslogik steckte in Step-Konfigurationen statt in Code, das Scheduling war auf Kettle-Jobs und externes cron verteilt, und die beiden Engineers, die die Landschaft am besten kannten, standen kurz vor dem Ruhestand. Eine vollständige Neuentwicklung war auf Jahre geschätzt und immer wieder verschoben worden.
Umgebung
Pentaho Data Integration On-Premises mit einem Carte-Cluster, das ein On-Premises-Warehouse und eine wachsende Zahl von Cloud-Zielen speist.
Vorgehen
AceMQ setzte sich für eine schrittweise Migration ein, gegliedert nach Datendomänen statt nach Transformationen. Extraktion und Transformation liefen parallel, die Ergebnisse wurden Zeile für Zeile verglichen, bis jede Domäne übereinstimmte, und erst dann wurde der Pentaho-Pfad für genau diese Domäne stillgelegt. Die Extraktion wanderte in ein modernes Ingest-Tool, die Transformationslogik in Warehouse-native SQL-Modelle, wo sie hingehört.
Lösung
- KTR- und KJB-Dateien geparst, um einen Abhängigkeitsgraphen aufzubauen und Transformationen nach ihrer Wirkung auf nachgelagerte Systeme zu reihen
- Die Landschaft in Migrationswellen nach Datendomänen gruppiert, nicht nach Dateien
- Die Extraktion auf eine moderne Ingest-Schicht verlagert und die Transformationslogik als SQL-Modelle im Warehouse neu implementiert
- Alte und neue Pipelines parallel betrieben, mit automatisiertem Abgleich auf Zeilen- und Aggregatebene pro Welle
- Pentaho-Jobs pro Domäne erst stillgelegt, nachdem der Abgleich über einen vollständigen Reporting-Zyklus sauber geblieben war
- Das interne Team während der Migration auf den neuen Stack geschult, nicht erst danach
Resultat
Die ersten Wellen wurden mit sauberem Abgleich und ohne Lücken im Reporting umgestellt, und der verbleibende Pentaho-Bestand schrumpfte auf eine klar abgegrenzte Menge von Domänen mit festem Enddatum. Entscheidend ist: Die Logik liegt jetzt in versioniertem SQL, das das gesamte Team lesen kann.