Powrót do wszystkich studiów przypadków

Ocena środowiskaEnergetyka / media

Odtworzenie tego, co faktycznie robią transformacje Kettle tworzone przez dekadę bez dokumentacji

Holding z branży usług komunalnych

Odtworzenie lineage i dokumentacji nieudokumentowanego zbioru starszych transformacji Kettle, zanim ktokolwiek spróbuje je zmienić lub zastąpić.

Przegląd

Nie da się bezpiecznie zmigrować ani zmodyfikować czegoś, czego nie da się odczytać. Długo działające środowiska Pentaho zwykle nie mają dokumentacji lineage, a XML transformacji jest jedyną zachowaną specyfikacją reguł biznesowych.

Wyzwanie

Firma odziedziczyła środowisko Pentaho w wyniku dwóch przejęć. Nie istniał żaden diagram tego, co czym jest zasilane, kilka transformacji zapisywało dane do tabel, których przeznaczenia nikt nie potrafił wyjaśnić, a co najmniej jedno nocne zadanie od miesięcy częściowo kończyło się błędem, przy czym nikt nie umiał ustalić, czy jego wynik jest jeszcze do czegokolwiek potrzebny.

Środowisko

Pentaho Data Integration on-premises, czytające z SQL Server i plików płaskich, zapisujące do lokalnej hurtowni raportowej i kilku zasilanych dalej ekstraktów.

Podejście

AceMQ bezpośrednio sparsowało XML transformacji i zadań, aby wyodrębnić tabele źródłowe, tabele docelowe, logikę poszczególnych kroków i orkiestrację zadań, a następnie zestawiło ten statyczny obraz z logami wykonania i rzeczywistą aktywnością zapisu w bazie danych, aby oddzielić to, co działa, od tego, co jedynie istnieje.

Rozwiązanie

  1. Sparsowanie plików KTR i KJB w celu wyodrębnienia lineage na poziomie tabel i kolumn bez potrzeby korzystania z narzędzia projektowego
  2. Zestawienie statycznego lineage z logami wykonania w celu odróżnienia aktywnych zadań od uśpionych
  3. Udokumentowanie reguł biznesowych osadzonych w krokach JavaScript, kalkulatorach i ręcznie pisanym SQL
  4. Wskazanie osieroconych tabel docelowych i transformacji bez żadnego odbiorcy danych
  5. Przygotowanie diagramów lineage i katalogu reguł dla każdej transformacji w formacie, który zespół może utrzymywać

Efekt

Zespół zyskał czytelną mapę środowiska, które wcześniej było praktycznie nieprzejrzyste, wycofał zestaw zadań, o których potwierdzono, że niczego nie zasilają, i dysponował materiałami potrzebnymi do rzetelnego określenia zakresu zastąpienia zamiast zgadywania.

Technologie

PentahoPostgreSQLSQL Serverdbt

Czas na przegląd Health Check Pentaho?

Starsi inżynierowie Pentaho w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.