Przegląd
Większość naszych obecnych rozmów o Pentaho to rozmowy o wyjściu. Zespoły utrzymują setki transformacji Kettle, które rozumie coraz mniejsza grupa osób, na środowisku uruchomieniowym, do którego coraz trudniej znaleźć ludzi i licencje, a które zasila hurtownię zdolną samodzielnie wykonać większość pracy transformacyjnej.
Wyzwanie
Organizacja zgromadziła przez ponad dekadę około czterystu transformacji i zadań. Logika biznesowa była zapisana w konfiguracji kroków, a nie w kodzie, harmonogramowanie rozproszone było między zadania Kettle a zewnętrzny cron, a dwóch inżynierów, którzy najlepiej znali środowisko, zbliżało się do emerytury. Pełne przepisanie wyceniono na lata pracy i wielokrotnie je odkładano.
Środowisko
Pentaho Data Integration on-premises z klastrem Carte, zasilające hurtownię on-premises i rosnący zestaw systemów docelowych w chmurze.
Podejście
AceMQ postawiło na etapową migrację zorganizowaną według domen danych, a nie według transformacji. Ekstrakcję i transformację prowadziliśmy równolegle, porównując wyniki wiersz po wierszu, dopóki dana domena nie była zgodna, a następnie wyłączaliśmy ścieżkę Pentaho tylko dla tej domeny. Ekstrakcja przeszła do nowoczesnego narzędzia do pobierania danych, a logika transformacji – do natywnych modeli SQL w hurtowni, gdzie jest jej miejsce.
Rozwiązanie
- Parsowanie plików KTR i KJB w celu zbudowania grafu zależności i uszeregowania transformacji według wpływu na dalsze systemy
- Podział środowiska na fale migracji według domen danych, a nie według plików
- Przeniesienie ekstrakcji do nowoczesnej warstwy pobierania danych i ponowna implementacja logiki transformacji jako modeli SQL w hurtowni
- Równoległe działanie starych i nowych potoków z automatycznym uzgadnianiem na poziomie wierszy i agregatów dla każdej fali
- Wycofywanie zadań Pentaho dla danej domeny dopiero wtedy, gdy uzgodnienie pozostało czyste przez pełny cykl raportowy
- Szkolenie zespołu wewnętrznego z nowego stosu w trakcie migracji, a nie po jej zakończeniu
Efekt
Pierwsze fale przełączono przy czystym uzgodnieniu i bez luk w raportowaniu, a pozostała część środowiska Pentaho skurczyła się do jasno określonego zestawu domen z zaplanowaną datą zakończenia. Co najważniejsze, logika trafiła do wersjonowanego kodu SQL, który może czytać cały zespół.