Powrót do wszystkich studiów przypadków

Wsparcie techniczneWiele branż

Niezawodność starszego środowiska Pentaho na czas planowania jego zastąpienia

Firma logistyczno-dystrybucyjna

Bieżące wsparcie środowiska Pentaho Data Integration, które musi działać niezawodnie, podczas gdy planowane jest jego długoterminowe zastąpienie.

Przegląd

Decyzja o odejściu od Pentaho nie sprawia, że nocne ładowanie danych przestaje być konieczne. Większość organizacji potrzebuje kogoś, kto nadal naprawi problemy z Kettle o 3 w nocy przez osiemnaście do trzydziestu sześciu miesięcy, które realistycznie zajmuje migracja.

Wyzwanie

Nocne ładowanie stało się zawodne: transformacje zawodziły z powodu presji pamięci, gdy rosły wolumeny wejściowe, zadania raportowały sukces, mimo że częściowo nieudany krok pozostawiał tabelę docelową załadowaną w połowie, a zachowanie sterownika JDBC zmieniło się po aktualizacji bazy danych. Awarie wychodziły na jaw jako skargi biznesu następnego ranka, a nie jako alerty w nocy.

Środowisko

Pentaho Data Integration na serwerach Linux on-premises, źródła i cele w SQL Server i PostgreSQL, nocne okno wsadowe zasilające raportowanie operacyjne.

Podejście

AceMQ zapewnia przypisanych starszych inżynierów z docelowymi czasami reakcji od 15 minut, zależnie od planu, i dostępnością 24/7 — bez kolejki triażu pierwszej linii między klientem a kimś, kto faktycznie potrafi przeczytać transformację. Usunęliśmy przyczyny powtarzających się awarii u źródła zamiast restartować zadania i przebudowaliśmy obsługę błędów tak, aby częściowe ładowania kończyły się czystym błędem.

Rozwiązanie

  1. Poprawienie rozmiaru sterty JVM i rozmiaru zestawów wierszy (row set) na poziomie kroków dla transformacji zawodzących przy zwiększonych wolumenach wejściowych
  2. Zastąpienie cichych częściowych ładowań jawną obsługą błędów i granicami transakcji
  3. Naprawa ustawień puli połączeń i sterownika JDBC, zdestabilizowanych przez aktualizację platformy bazodanowej
  4. Alerty na poziomie zadań i kroków, dzięki którym nocne awarie od razu wywołują powiadomienie dyżurnego, zamiast czekać do rana
  5. Runbook dla wzorców awarii, które najprawdopodobniej powtórzą się przed zakończeniem migracji

Efekt

Powtarzające się nocne awarie ustały, a tabele docelowe załadowane w połowie wyeliminowano, sprawiając, że częściowe awarie przerywają ładowanie. Środowisko jest na tyle stabilne, że migracja może przebiegać zgodnie z planem, a nie pod presją sytuacji awaryjnej.

Technologie

PentahoSQL ServerPostgreSQLDocker

Potrzebują Państwo eksperckiego wsparcia Pentaho?

Starsi inżynierowie Pentaho w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.