Przegląd
Klastrowe wykonywanie w Pentaho przenosi pracę na serwery podrzędne Carte, a gdy te zaczynają niedomagać, objawem jest transformacja, która po prostu nigdy się nie kończy. Serwer główny raportuje ją jako działającą bez końca, a jedyną dźwignią operatora jest restart.
Wyzwanie
Transformacje klastrowe zaczęły zawieszać się kilka razy w tygodniu. JVM serwerów podrzędnych Carte rosły przez cały dzień i nigdy nie odzyskiwały pamięci, osierocone sesje transformacji gromadziły się w rejestrze serwera podrzędnego, a restart serwera głównego ich nie usuwał. Okno przetwarzania wsadowego zaczęło wchodzić na zmianę produkcyjną.
Środowisko
Pentaho Data Integration z serwerem głównym Carte i kilkoma serwerami podrzędnymi na lokalnych hostach Linux, zasilające hurtownię raportową produkcji.
Podejście
AceMQ pobrało zrzuty heap i zrzuty wątków z zawieszonego serwera podrzędnego zamiast go restartować, co pozwoliło ustalić, gdzie gromadzą się wiersze i który krok blokuje przetwarzanie. Poprawiliśmy rozmiar row setów, który powodował nieograniczone buforowanie, dodaliśmy obsługę cyklu życia, dzięki której zakończone transformacje są usuwane z rejestru serwera podrzędnego, i skonteneryzowaliśmy serwery podrzędne, tak aby niedomagającą instancję wymieniać, a nie reanimować.
Rozwiązanie
- Pobranie zrzutów heap i wątków z zawieszonych serwerów podrzędnych Carte w celu wskazania blokującego kroku i zachowania buforowania
- Poprawa rozmiarów row setów i partycjonowania, aby kroki klastrowe przestały buforować bez ograniczeń
- Dodanie czyszczenia zakończonych i osieroconych sesji transformacji z rejestru serwera podrzędnego
- Konteneryzacja serwerów podrzędnych Carte z health checkami, dzięki którym niedomagające instancje są wymieniane automatycznie
- Instrumentacja pamięci JVM serwerów podrzędnych i liczby aktywnych transformacji z progami alertów
Efekt
Cotygodniowe zawieszenia ustały, a okno przetwarzania wsadowego wróciło do wyznaczonego czasu. Restarty serwerów podrzędnych stały się rzadkim, zautomatyzowanym zdarzeniem, a nie ręcznym zadaniem na nocnej zmianie.