Przegląd
Nie da się bezpiecznie zmigrować ani zmodyfikować czegoś, czego nie da się odczytać. Długo działające środowiska Pentaho zwykle nie mają dokumentacji lineage, a XML transformacji jest jedyną zachowaną specyfikacją reguł biznesowych.
Wyzwanie
Firma odziedziczyła środowisko Pentaho w wyniku dwóch przejęć. Nie istniał żaden diagram tego, co czym jest zasilane, kilka transformacji zapisywało dane do tabel, których przeznaczenia nikt nie potrafił wyjaśnić, a co najmniej jedno nocne zadanie od miesięcy częściowo kończyło się błędem, przy czym nikt nie umiał ustalić, czy jego wynik jest jeszcze do czegokolwiek potrzebny.
Środowisko
Pentaho Data Integration on-premises, czytające z SQL Server i plików płaskich, zapisujące do lokalnej hurtowni raportowej i kilku zasilanych dalej ekstraktów.
Podejście
AceMQ bezpośrednio sparsowało XML transformacji i zadań, aby wyodrębnić tabele źródłowe, tabele docelowe, logikę poszczególnych kroków i orkiestrację zadań, a następnie zestawiło ten statyczny obraz z logami wykonania i rzeczywistą aktywnością zapisu w bazie danych, aby oddzielić to, co działa, od tego, co jedynie istnieje.
Rozwiązanie
- Sparsowanie plików KTR i KJB w celu wyodrębnienia lineage na poziomie tabel i kolumn bez potrzeby korzystania z narzędzia projektowego
- Zestawienie statycznego lineage z logami wykonania w celu odróżnienia aktywnych zadań od uśpionych
- Udokumentowanie reguł biznesowych osadzonych w krokach JavaScript, kalkulatorach i ręcznie pisanym SQL
- Wskazanie osieroconych tabel docelowych i transformacji bez żadnego odbiorcy danych
- Przygotowanie diagramów lineage i katalogu reguł dla każdej transformacji w formacie, który zespół może utrzymywać
Efekt
Zespół zyskał czytelną mapę środowiska, które wcześniej było praktycznie nieprzejrzyste, wycofał zestaw zadań, o których potwierdzono, że niczego nie zasilają, i dysponował materiałami potrzebnymi do rzetelnego określenia zakresu zastąpienia zamiast zgadywania.