Zurück zu allen Kundenbeispielen

AssessmentEnergie / Versorger

Herausfinden, was ein Jahrzehnt undokumentierter Kettle-Transformationen tatsächlich tut

Holding im Versorgungssektor

Rekonstruktion von Lineage und Dokumentation für eine undokumentierte Landschaft alter Kettle-Transformationen, bevor irgendjemand versucht, sie zu ändern oder zu ersetzen.

Überblick

Was Sie nicht lesen können, können Sie auch nicht sicher migrieren oder ändern. Langlebige Pentaho-Landschaften haben in der Regel keine Lineage-Dokumentation, und das XML der Transformationen ist die einzige erhaltene Spezifikation der Geschäftsregeln.

Herausforderung

Das Unternehmen hatte eine Pentaho-Landschaft über zwei Übernahmen geerbt. Es gab kein Diagramm, was was speiste, mehrere Transformationen schrieben in Tabellen, die niemand zuordnen konnte, und mindestens ein nächtlicher Job schlug seit Monaten teilweise fehl, ohne dass jemand feststellen konnte, ob seine Ausgabe überhaupt noch von Bedeutung war.

Umgebung

Pentaho Data Integration On-Premises, das aus SQL Server und Flatfile-Ablagen liest und in ein On-Premises-Reporting-Warehouse sowie mehrere nachgelagerte Extrakte schreibt.

Vorgehen

AceMQ parste das XML der Transformationen und Jobs direkt, um Quelltabellen, Zieltabellen, die Logik auf Step-Ebene und die Job-Orchestrierung zu extrahieren, und glich dieses statische Bild anschließend mit Laufzeit-Logs und den tatsächlichen Schreibaktivitäten in der Datenbank ab, um zu trennen, was läuft, und was bloß existiert.

Lösung

  1. KTR- und KJB-Dateien geparst, um Lineage auf Tabellen- und Spaltenebene zu extrahieren, ohne das Design-Tool zu benötigen
  2. Die statische Lineage mit den Laufzeit-Logs abgeglichen, um aktive von ruhenden Jobs zu unterscheiden
  3. Eingebettete Geschäftsregeln aus JavaScript-Steps, Calculators und handgeschriebenem SQL dokumentiert
  4. Verwaiste Zieltabellen und Transformationen ohne nachgelagerten Abnehmer identifiziert
  5. Lineage-Diagramme und einen Regelkatalog pro Transformation in einem Format erstellt, das das Team selbst pflegen kann

Resultat

Das Team erhielt eine lesbare Karte einer Landschaft, die praktisch undurchschaubar gewesen war, legte eine Reihe von Jobs still, die nachweislich nichts speisten, und verfügt nun über die Unterlagen, um einen Ersatz ehrlich abzugrenzen, statt ihn zu schätzen.

Technologien

PentahoPostgreSQLSQL Serverdbt

Bereit für einen Pentaho-Health-Check?

Die Senior Engineers von AceMQ für Pentaho haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.