Przegląd
Węzeł NiFi, który nie wysyła heartbeatów, zostaje odłączony przez koordynatora klastra, a pod stałym obciążeniem cykl odłączania i ponownego dołączania może się powtarzać, aż przepływ staje się praktycznie niedostępny. Sieć rzadko jest przyczyną. AceMQ diagnozuje faktyczny wyzwalacz i stabilizuje klaster.
Wyzwanie
Najczęstszą przyczyną są długie pauzy odśmiecania pamięci — heap dobrany bez uwzględnienia wolumenu atrybutów flowfile albo procesory przechowujące w pamięci duże mapy atrybutów powodują pełne pauzy GC dłuższe niż interwał heartbeatu. Inne wyzwalacze to przekroczenia czasu sesji ZooKeeper przy rywalizacji o I/O oraz błędy synchronizacji przepływu po ponownym dołączeniu węzła z rozbieżną definicją przepływu. Wszystkie trzy wyglądają w interfejsie tak samo, a każdy usuwa się inaczej.
Środowisko
Klastry Apache NiFi z wbudowanym lub zewnętrznym ZooKeeper, na lokalnych lub chmurowych maszynach wirtualnych, obsługujące przepływy ingestii o dużym wolumenie.
Podejście
Inżynierowie AceMQ korelują logi GC, czasy heartbeatów i zdarzenia sesji ZooKeeper ze znacznikami czasu odłączeń, aby ustalić, która z trzech przyczyn faktycznie odpowiada za problem. Natychmiastowa stabilizacja polega na korekcie heap, kolektora GC i wartości limitów czasu; trwała poprawka dotyczy projektu przepływu lub wolumenu atrybutów, które w ogóle sprawiły, że pauzy były długie.
Rozwiązanie
- Docelowe czasy reakcji od 15 minut, zależnie od planu, z przypisanymi starszymi inżynierami, 24/7, bez pierwszej linii wsparcia (tier 1)
- Korelacja logów GC, heartbeatów i sesji ZooKeeper ze zdarzeniami odłączenia w celu wskazania faktycznego wyzwalacza
- Rozmiar heap i konfiguracja garbage collectora dopasowane do wolumenu atrybutów flowfile i liczby współbieżnych procesorów
- Korekta interwału heartbeatu klastra i limitu czasu sesji ZooKeeper z zapasem ponad zaobserwowany czas trwania pauz
- Przegląd przepływów pod kątem procesorów przechowujących duże atrybuty w pamięci i przeniesienie danych ładunku do treści zamiast atrybutów
- Procedury synchronizacji przepływu i ponownego dołączania węzłów przy rozbieżnych definicjach przepływu po nieudanym restarcie klastra
Efekt
Odłączenia węzłów ustają przy poziomach obciążenia, które wcześniej je wywoływały, a klaster przetrwa szczyty ingestii bez cyklu ponownego dołączania. Tam, gdzie przyczyną był wolumen atrybutów, presja pamięci spada na tyle, że heap można było zmniejszyć, zamiast go zwiększać.