Przegląd
Gdy worker CloudHub restartuje się pod presją pamięci, platforma informuje, że do tego doszło. Nie mówi jednak, który przepływ, który object store ani który wyciek w konektorze był przyczyną. Ta analiza leży po stronie aplikacji i to tam działa AceMQ — stroimy i debugujemy to, co klienci uruchamiają na MuleSoft, nie obsługujemy samej platformy MuleSoft.
Wyzwanie
Workery restartowały się kilka razy dziennie, gubiąc komunikaty w trakcie przetwarzania. Aplikacja używała object store w pamięci do kluczy deduplikacji bez wygasania, przechowywała dane słownikowe w cache rosnącym bez ograniczeń i miała konfigurację konektora otwierającą nowe połączenie dla każdego żądania, bez puli połączeń. Każdą z tych przyczyn z osobna dało się przetrwać; razem codziennie przekraczały limit pamięci workera.
Środowisko
Aplikacje Mule na CloudHub w kilku środowiskach, integrujące systemy sprzedaży (POS), magazynowe i ERP.
Podejście
AceMQ skorelowało znaczniki czasu restartów z zachowaniem aplikacji i metrykami workerów, aby zawęzić poszukiwania, a następnie przejrzało konfigurację object store, zakresy cache i pule połączeń konektorów jako trzy najczęstsze źródła zużycia pamięci po stronie aplikacji. Przypisani starsi inżynierowie pracowali nad problemem bezpośrednio, w trybie 24/7 i z docelowymi czasami reakcji od 15 minut, zależnie od planu.
Rozwiązanie
- Skorelowanie zdarzeń restartu workerów z aktywnością przepływów i metrykami pamięci w celu wyizolowania przepływów, które się do nich przyczyniały
- Przeniesienie nieograniczonych object store w pamięci do magazynów trwałych z jawnie ustawionym TTL
- Ograniczenie zakresów cache i ustawienie polityk usuwania dla danych słownikowych, które rosły bez limitu
- Włączenie puli połączeń w konektorach, które otwierały połączenie dla każdego żądania
- Dodanie trwałości na poziomie komunikatów, aby nieoczekiwany restart nie powodował już utraty przetwarzanej pracy
- Właściwy dobór przydziału workerów na podstawie zmierzonego zużycia pamięci w stanie ustalonym i w szczycie
Efekt
Codzienne restarty workerów ustały, a komunikaty w trakcie przetwarzania przetrwają teraz restart, zamiast przepadać. Rozmiar workerów ustalono na podstawie zmierzonego zachowania, a nie zgadywania.