Powrót do wszystkich studiów przypadków

Wsparcie techniczneWiele branż

Workery restartują się pod presją pamięci, a platforma nie powie Państwu, który przepływ za to odpowiada

Specjalistyczna sieć handlowa

Badanie powtarzających się restartów workerów CloudHub pod presją pamięci i leżących u ich podstaw przyczyn po stronie aplikacji.

Przegląd

Gdy worker CloudHub restartuje się pod presją pamięci, platforma informuje, że do tego doszło. Nie mówi jednak, który przepływ, który object store ani który wyciek w konektorze był przyczyną. Ta analiza leży po stronie aplikacji i to tam działa AceMQ — stroimy i debugujemy to, co klienci uruchamiają na MuleSoft, nie obsługujemy samej platformy MuleSoft.

Wyzwanie

Workery restartowały się kilka razy dziennie, gubiąc komunikaty w trakcie przetwarzania. Aplikacja używała object store w pamięci do kluczy deduplikacji bez wygasania, przechowywała dane słownikowe w cache rosnącym bez ograniczeń i miała konfigurację konektora otwierającą nowe połączenie dla każdego żądania, bez puli połączeń. Każdą z tych przyczyn z osobna dało się przetrwać; razem codziennie przekraczały limit pamięci workera.

Środowisko

Aplikacje Mule na CloudHub w kilku środowiskach, integrujące systemy sprzedaży (POS), magazynowe i ERP.

Podejście

AceMQ skorelowało znaczniki czasu restartów z zachowaniem aplikacji i metrykami workerów, aby zawęzić poszukiwania, a następnie przejrzało konfigurację object store, zakresy cache i pule połączeń konektorów jako trzy najczęstsze źródła zużycia pamięci po stronie aplikacji. Przypisani starsi inżynierowie pracowali nad problemem bezpośrednio, w trybie 24/7 i z docelowymi czasami reakcji od 15 minut, zależnie od planu.

Rozwiązanie

  1. Skorelowanie zdarzeń restartu workerów z aktywnością przepływów i metrykami pamięci w celu wyizolowania przepływów, które się do nich przyczyniały
  2. Przeniesienie nieograniczonych object store w pamięci do magazynów trwałych z jawnie ustawionym TTL
  3. Ograniczenie zakresów cache i ustawienie polityk usuwania dla danych słownikowych, które rosły bez limitu
  4. Włączenie puli połączeń w konektorach, które otwierały połączenie dla każdego żądania
  5. Dodanie trwałości na poziomie komunikatów, aby nieoczekiwany restart nie powodował już utraty przetwarzanej pracy
  6. Właściwy dobór przydziału workerów na podstawie zmierzonego zużycia pamięci w stanie ustalonym i w szczycie

Efekt

Codzienne restarty workerów ustały, a komunikaty w trakcie przetwarzania przetrwają teraz restart, zamiast przepadać. Rozmiar workerów ustalono na podstawie zmierzonego zachowania, a nie zgadywania.

Technologie

MuleSoftDockerKubernetesRedis

Potrzebują Państwo eksperckiego wsparcia MuleSoft?

Starsi inżynierowie MuleSoft w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.