Überblick
Was Sie nicht lesen können, können Sie auch nicht sicher migrieren oder ändern. Langlebige Pentaho-Landschaften haben in der Regel keine Lineage-Dokumentation, und das XML der Transformationen ist die einzige erhaltene Spezifikation der Geschäftsregeln.
Herausforderung
Das Unternehmen hatte eine Pentaho-Landschaft über zwei Übernahmen geerbt. Es gab kein Diagramm, was was speiste, mehrere Transformationen schrieben in Tabellen, die niemand zuordnen konnte, und mindestens ein nächtlicher Job schlug seit Monaten teilweise fehl, ohne dass jemand feststellen konnte, ob seine Ausgabe überhaupt noch von Bedeutung war.
Umgebung
Pentaho Data Integration On-Premises, das aus SQL Server und Flatfile-Ablagen liest und in ein On-Premises-Reporting-Warehouse sowie mehrere nachgelagerte Extrakte schreibt.
Vorgehen
AceMQ parste das XML der Transformationen und Jobs direkt, um Quelltabellen, Zieltabellen, die Logik auf Step-Ebene und die Job-Orchestrierung zu extrahieren, und glich dieses statische Bild anschließend mit Laufzeit-Logs und den tatsächlichen Schreibaktivitäten in der Datenbank ab, um zu trennen, was läuft, und was bloß existiert.
Lösung
- KTR- und KJB-Dateien geparst, um Lineage auf Tabellen- und Spaltenebene zu extrahieren, ohne das Design-Tool zu benötigen
- Die statische Lineage mit den Laufzeit-Logs abgeglichen, um aktive von ruhenden Jobs zu unterscheiden
- Eingebettete Geschäftsregeln aus JavaScript-Steps, Calculators und handgeschriebenem SQL dokumentiert
- Verwaiste Zieltabellen und Transformationen ohne nachgelagerten Abnehmer identifiziert
- Lineage-Diagramme und einen Regelkatalog pro Transformation in einem Format erstellt, das das Team selbst pflegen kann
Resultat
Das Team erhielt eine lesbare Karte einer Landschaft, die praktisch undurchschaubar gewesen war, legte eine Reihe von Jobs still, die nachweislich nichts speisten, und verfügt nun über die Unterlagen, um einen Ersatz ehrlich abzugrenzen, statt ihn zu schätzen.