Powrót do wszystkich studiów przypadków

Usuwanie problemówWiele branż

Ładunek urósł, a cały worker poległ razem z nim

Grupa dystrybucji hurtowej

Usunięcie błędów braku pamięci w aplikacji Mule, która buforowała w całości ładunki o rozmiarze kilkuset megabajtów, ponieważ nie skonfigurowano strategii repeatable streaming.

Przegląd

Domyślny repeatable streaming w pamięci w Mule działa dobrze, dopóki ładunek nie przekroczy skonfigurowanego bufora — od tego momentu zachowanie zależy wyłącznie od strategii streamingu, której większość aplikacji nigdy nie ustawia. Problem ujawnia się w integracjach obsługujących duże pliki i duże odpowiedzi, zwykle na produkcji i zwykle wtedy, gdy rośnie partner.

Wyzwanie

Integracja plików partnera zaczęła zawodzić, gdy rozmiar plików przekroczył kilkaset megabajtów. Przepływ korzystał z transformacji DataWeave i zakresu For Each na całym ładunku z domyślnym repeatable stream w pamięci, więc cały dokument był materializowany w heap więcej niż raz. Workery były zabijane w trakcie przetwarzania, a przy ponowieniu plik partnera przetwarzano od początku, co dodatkowo zwiększało obciążenie.

Środowisko

Aplikacje Mule na workerach CloudHub przetwarzające strumienie plików od partnerów i ruch API, zintegrowane z chmurowymi bazami danych i usługami wewnętrznymi.

Podejście

AceMQ sprofilowało heap workera podczas odtworzenia awarii na problematycznym pliku, aby potwierdzić, gdzie ładunek jest materializowany, a następnie przebudowało przepływ tak, aby dane były strumieniowane, a nie buforowane. AceMQ nie obsługuje platformy MuleSoft — prace dotyczą aplikacji, przepływów i projektu integracji klienta działających na tej platformie.

Rozwiązanie

  1. Profilowanie heap workera podczas odtworzonej awarii w celu wskazania, gdzie ładunek jest materializowany
  2. Konfiguracja repeatable streaming opartego na magazynie plikowym z odpowiednim rozmiarem bufora dla dużych ładunków
  3. Przebudowa transformacji DataWeave tak, aby strumieniowały dane zamiast wczytywać cały dokument do pamięci
  4. Zastąpienie iteracji po całym ładunku przetwarzaniem wsadowym i ograniczonymi blokami rekordów
  5. Wznawianie ponowień od checkpointu rekordu zamiast przetwarzania całego pliku od nowa
  6. Testy obciążeniowe z ładunkami znacznie większymi niż największy zaobserwowany plik partnera

Efekt

Błędy braku pamięci ustały, a integracja przetwarza teraz pliki kilkukrotnie większe niż te, które pierwotnie powodowały awarię — przy tym samym rozmiarze workerów.

Technologie

MuleSoftKubernetesDockerPostgreSQL

Problem produkcyjny z MuleSoft?

Starsi inżynierowie MuleSoft w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.