Powrót do wszystkich studiów przypadków

Wsparcie techniczneAdministracja publiczna / obronność

Węzły wypadają pod obciążeniem, wracają i znów wypadają — zwykle winny jest GC, a nie sieć

Agencja sektora publicznego

Rozwiązanie problemu węzłów odłączających się od klastra NiFi pod obciążeniem z powodu przekroczeń czasu heartbeatu, pauz GC i błędów koordynacji ZooKeeper.

Przegląd

Węzeł NiFi, który nie wysyła heartbeatów, zostaje odłączony przez koordynatora klastra, a pod stałym obciążeniem cykl odłączania i ponownego dołączania może się powtarzać, aż przepływ staje się praktycznie niedostępny. Sieć rzadko jest przyczyną. AceMQ diagnozuje faktyczny wyzwalacz i stabilizuje klaster.

Wyzwanie

Najczęstszą przyczyną są długie pauzy odśmiecania pamięci — heap dobrany bez uwzględnienia wolumenu atrybutów flowfile albo procesory przechowujące w pamięci duże mapy atrybutów powodują pełne pauzy GC dłuższe niż interwał heartbeatu. Inne wyzwalacze to przekroczenia czasu sesji ZooKeeper przy rywalizacji o I/O oraz błędy synchronizacji przepływu po ponownym dołączeniu węzła z rozbieżną definicją przepływu. Wszystkie trzy wyglądają w interfejsie tak samo, a każdy usuwa się inaczej.

Środowisko

Klastry Apache NiFi z wbudowanym lub zewnętrznym ZooKeeper, na lokalnych lub chmurowych maszynach wirtualnych, obsługujące przepływy ingestii o dużym wolumenie.

Podejście

Inżynierowie AceMQ korelują logi GC, czasy heartbeatów i zdarzenia sesji ZooKeeper ze znacznikami czasu odłączeń, aby ustalić, która z trzech przyczyn faktycznie odpowiada za problem. Natychmiastowa stabilizacja polega na korekcie heap, kolektora GC i wartości limitów czasu; trwała poprawka dotyczy projektu przepływu lub wolumenu atrybutów, które w ogóle sprawiły, że pauzy były długie.

Rozwiązanie

  1. Docelowe czasy reakcji od 15 minut, zależnie od planu, z przypisanymi starszymi inżynierami, 24/7, bez pierwszej linii wsparcia (tier 1)
  2. Korelacja logów GC, heartbeatów i sesji ZooKeeper ze zdarzeniami odłączenia w celu wskazania faktycznego wyzwalacza
  3. Rozmiar heap i konfiguracja garbage collectora dopasowane do wolumenu atrybutów flowfile i liczby współbieżnych procesorów
  4. Korekta interwału heartbeatu klastra i limitu czasu sesji ZooKeeper z zapasem ponad zaobserwowany czas trwania pauz
  5. Przegląd przepływów pod kątem procesorów przechowujących duże atrybuty w pamięci i przeniesienie danych ładunku do treści zamiast atrybutów
  6. Procedury synchronizacji przepływu i ponownego dołączania węzłów przy rozbieżnych definicjach przepływu po nieudanym restarcie klastra

Efekt

Odłączenia węzłów ustają przy poziomach obciążenia, które wcześniej je wywoływały, a klaster przetrwa szczyty ingestii bez cyklu ponownego dołączania. Tam, gdzie przyczyną był wolumen atrybutów, presja pamięci spada na tyle, że heap można było zmniejszyć, zamiast go zwiększać.

Technologie

Apache NiFiZooKeeperApache Kafka

Potrzebują Państwo eksperckiego wsparcia Apache NiFi?

Starsi inżynierowie Apache NiFi w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.