Powrót do wszystkich studiów przypadków

DoradztwoOchrona zdrowia / świadczenia

Wyjście z Pentaho bez przepisywania wszystkiego naraz

Organizacja płatnika usług medycznych

Zaplanowanie i przeprowadzenie etapowego przejścia z Pentaho Data Integration na nowoczesny stos ELT, bez jednorazowego przełączenia setek transformacji.

Przegląd

Większość naszych obecnych rozmów o Pentaho to rozmowy o wyjściu. Zespoły utrzymują setki transformacji Kettle, które rozumie coraz mniejsza grupa osób, na środowisku uruchomieniowym, do którego coraz trudniej znaleźć ludzi i licencje, a które zasila hurtownię zdolną samodzielnie wykonać większość pracy transformacyjnej.

Wyzwanie

Organizacja zgromadziła przez ponad dekadę około czterystu transformacji i zadań. Logika biznesowa była zapisana w konfiguracji kroków, a nie w kodzie, harmonogramowanie rozproszone było między zadania Kettle a zewnętrzny cron, a dwóch inżynierów, którzy najlepiej znali środowisko, zbliżało się do emerytury. Pełne przepisanie wyceniono na lata pracy i wielokrotnie je odkładano.

Środowisko

Pentaho Data Integration on-premises z klastrem Carte, zasilające hurtownię on-premises i rosnący zestaw systemów docelowych w chmurze.

Podejście

AceMQ postawiło na etapową migrację zorganizowaną według domen danych, a nie według transformacji. Ekstrakcję i transformację prowadziliśmy równolegle, porównując wyniki wiersz po wierszu, dopóki dana domena nie była zgodna, a następnie wyłączaliśmy ścieżkę Pentaho tylko dla tej domeny. Ekstrakcja przeszła do nowoczesnego narzędzia do pobierania danych, a logika transformacji – do natywnych modeli SQL w hurtowni, gdzie jest jej miejsce.

Rozwiązanie

  1. Parsowanie plików KTR i KJB w celu zbudowania grafu zależności i uszeregowania transformacji według wpływu na dalsze systemy
  2. Podział środowiska na fale migracji według domen danych, a nie według plików
  3. Przeniesienie ekstrakcji do nowoczesnej warstwy pobierania danych i ponowna implementacja logiki transformacji jako modeli SQL w hurtowni
  4. Równoległe działanie starych i nowych potoków z automatycznym uzgadnianiem na poziomie wierszy i agregatów dla każdej fali
  5. Wycofywanie zadań Pentaho dla danej domeny dopiero wtedy, gdy uzgodnienie pozostało czyste przez pełny cykl raportowy
  6. Szkolenie zespołu wewnętrznego z nowego stosu w trakcie migracji, a nie po jej zakończeniu

Efekt

Pierwsze fale przełączono przy czystym uzgodnieniu i bez luk w raportowaniu, a pozostała część środowiska Pentaho skurczyła się do jasno określonego zestawu domen z zaplanowaną datą zakończenia. Co najważniejsze, logika trafiła do wersjonowanego kodu SQL, który może czytać cały zespół.

Technologie

PentahoAirbytedbtPostgreSQLKubernetes

Potrzebują Państwo doradztwa w zakresie architektury Pentaho?

Starsi inżynierowie Pentaho w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.