Powrót do wszystkich studiów przypadków

Usuwanie problemówPrzemysł / produkcja

Zawieszone serwery podrzędne Carte, wycieki pamięci i transformacje, które nigdy się nie kończą

Producent wyrobów przemysłowych

Usunięcie niestabilności serwerów podrzędnych Carte, na których długotrwałe transformacje klastrowe zawieszały się, powodowały wycieki pamięci i pozostawiały osierocone sesje Carte.

Przegląd

Klastrowe wykonywanie w Pentaho przenosi pracę na serwery podrzędne Carte, a gdy te zaczynają niedomagać, objawem jest transformacja, która po prostu nigdy się nie kończy. Serwer główny raportuje ją jako działającą bez końca, a jedyną dźwignią operatora jest restart.

Wyzwanie

Transformacje klastrowe zaczęły zawieszać się kilka razy w tygodniu. JVM serwerów podrzędnych Carte rosły przez cały dzień i nigdy nie odzyskiwały pamięci, osierocone sesje transformacji gromadziły się w rejestrze serwera podrzędnego, a restart serwera głównego ich nie usuwał. Okno przetwarzania wsadowego zaczęło wchodzić na zmianę produkcyjną.

Środowisko

Pentaho Data Integration z serwerem głównym Carte i kilkoma serwerami podrzędnymi na lokalnych hostach Linux, zasilające hurtownię raportową produkcji.

Podejście

AceMQ pobrało zrzuty heap i zrzuty wątków z zawieszonego serwera podrzędnego zamiast go restartować, co pozwoliło ustalić, gdzie gromadzą się wiersze i który krok blokuje przetwarzanie. Poprawiliśmy rozmiar row setów, który powodował nieograniczone buforowanie, dodaliśmy obsługę cyklu życia, dzięki której zakończone transformacje są usuwane z rejestru serwera podrzędnego, i skonteneryzowaliśmy serwery podrzędne, tak aby niedomagającą instancję wymieniać, a nie reanimować.

Rozwiązanie

  1. Pobranie zrzutów heap i wątków z zawieszonych serwerów podrzędnych Carte w celu wskazania blokującego kroku i zachowania buforowania
  2. Poprawa rozmiarów row setów i partycjonowania, aby kroki klastrowe przestały buforować bez ograniczeń
  3. Dodanie czyszczenia zakończonych i osieroconych sesji transformacji z rejestru serwera podrzędnego
  4. Konteneryzacja serwerów podrzędnych Carte z health checkami, dzięki którym niedomagające instancje są wymieniane automatycznie
  5. Instrumentacja pamięci JVM serwerów podrzędnych i liczby aktywnych transformacji z progami alertów

Efekt

Cotygodniowe zawieszenia ustały, a okno przetwarzania wsadowego wróciło do wyznaczonego czasu. Restarty serwerów podrzędnych stały się rzadkim, zautomatyzowanym zdarzeniem, a nie ręcznym zadaniem na nocnej zmianie.

Technologie

PentahoPostgreSQLDockerKubernetes

Problem produkcyjny z Pentaho?

Starsi inżynierowie Pentaho w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.