Przegląd
Decyzja o odejściu od Pentaho nie sprawia, że nocne ładowanie danych przestaje być konieczne. Większość organizacji potrzebuje kogoś, kto nadal naprawi problemy z Kettle o 3 w nocy przez osiemnaście do trzydziestu sześciu miesięcy, które realistycznie zajmuje migracja.
Wyzwanie
Nocne ładowanie stało się zawodne: transformacje zawodziły z powodu presji pamięci, gdy rosły wolumeny wejściowe, zadania raportowały sukces, mimo że częściowo nieudany krok pozostawiał tabelę docelową załadowaną w połowie, a zachowanie sterownika JDBC zmieniło się po aktualizacji bazy danych. Awarie wychodziły na jaw jako skargi biznesu następnego ranka, a nie jako alerty w nocy.
Środowisko
Pentaho Data Integration na serwerach Linux on-premises, źródła i cele w SQL Server i PostgreSQL, nocne okno wsadowe zasilające raportowanie operacyjne.
Podejście
AceMQ zapewnia przypisanych starszych inżynierów z docelowymi czasami reakcji od 15 minut, zależnie od planu, i dostępnością 24/7 — bez kolejki triażu pierwszej linii między klientem a kimś, kto faktycznie potrafi przeczytać transformację. Usunęliśmy przyczyny powtarzających się awarii u źródła zamiast restartować zadania i przebudowaliśmy obsługę błędów tak, aby częściowe ładowania kończyły się czystym błędem.
Rozwiązanie
- Poprawienie rozmiaru sterty JVM i rozmiaru zestawów wierszy (row set) na poziomie kroków dla transformacji zawodzących przy zwiększonych wolumenach wejściowych
- Zastąpienie cichych częściowych ładowań jawną obsługą błędów i granicami transakcji
- Naprawa ustawień puli połączeń i sterownika JDBC, zdestabilizowanych przez aktualizację platformy bazodanowej
- Alerty na poziomie zadań i kroków, dzięki którym nocne awarie od razu wywołują powiadomienie dyżurnego, zamiast czekać do rana
- Runbook dla wzorców awarii, które najprawdopodobniej powtórzą się przed zakończeniem migracji
Efekt
Powtarzające się nocne awarie ustały, a tabele docelowe załadowane w połowie wyeliminowano, sprawiając, że częściowe awarie przerywają ładowanie. Środowisko jest na tyle stabilne, że migracja może przebiegać zgodnie z planem, a nie pod presją sytuacji awaryjnej.