Powrót do wszystkich studiów przypadków

Usuwanie problemówEnergetyka / media

Bez progów backpressure NiFi bez oporów zapełni dysk

Regionalny operator usług komunalnych

Przywracanie węzłów NiFi, w których content repository się zapełniło, ponieważ przed procesorem objętym backpressure nie ustawiono żadnych limitów kolejek.

Przegląd

NiFi przechowuje treść flowfile'ów na dysku w content repository, a połączenia bez progów backpressure kolejkują dane w nieskończoność. Gdy procesor po stronie odbiorcy zwalnia lub się zatrzymuje, procesory wcześniejsze w przepływie nadal produkują dane, a repozytorium rośnie, aż wolumen się zapełni — wtedy węzeł nie może też zapisywać provenance i w praktyce przestaje działać. AceMQ przywraca węzeł do działania i ustawia limity, które powinny były istnieć od początku.

Wyzwanie

Sekwencja awarii jest zawsze podobna: system docelowy staje się niedostępny lub wolny, jego procesor przestaje opróżniać kolejkę wejściową, procesory wcześniejsze w przepływie produkują dalej, a kolejki połączeń rosną bez ograniczeń, bo domyślnych progów nigdy nie dostosowano. Dysk się zapełnia, provenance repository nie może już zapisywać, a węzeł całkowicie przestaje przetwarzać dane. Odtworzenie jest delikatne, bo ręczne usuwanie plików repozytorium uszkadza stan flowfile'ów, a zarchiwizowana treść dodatkowo komplikuje sytuację.

Środowisko

Klastry Apache NiFi on-premises lub na maszynach wirtualnych w chmurze z oddzielnymi repozytoriami flowfile, content i provenance, pobierające dane z systemów obiektowych i korporacyjnych.

Podejście

AceMQ bezpiecznie odzyskuje miejsce na dysku — przez wygaszanie archiwum treści i kontrolowane opróżnianie kolejek zamiast ręcznego usuwania plików — a następnie przywraca węzeł i przepływ. Trwała część pracy polega na ustawieniu progów backpressure dla liczby obiektów i rozmiaru danych na każdym połączeniu, dodaniu równoważenia obciążenia i priorytetyzacji tam, gdzie to zasadne, oraz rozdzieleniu repozytoriów na osobne wolumeny, aby zapełnienie jednego nie zatrzymywało pozostałych.

Rozwiązanie

  1. Bezpieczne odzyskanie miejsca na dysku przez wygaszanie archiwum treści i kontrolowane opróżnianie kolejek, bez ręcznego usuwania plików repozytorium
  2. Progi backpressure dla liczby obiektów i rozmiaru danych na każdym połączeniu, dobrane do przepustowości po stronie odbiorcy
  3. Dostrojenie ustawień archiwum content repository, okresu retencji i procentu wykorzystania do dostępnego wolumenu
  4. Rozdzielenie repozytoriów na dedykowane wolumeny, aby wzrost treści nie mógł zatrzymać zapisów provenance i flowfile
  5. Projekt ścieżki obsługi błędów dla objętych problemem procesorów, kierującej dane do przepływu ponowień lub przetrzymania zamiast kolejkowania w nieskończoność
  6. Alerty dotyczące zajętości dysku, głębokości kolejek i backpressure, dzięki którym stan ten wywołuje alarm na długo przed zapełnieniem wolumenu

Efekt

Objęte problemem węzły wracają do działania bez utraty flowfile'ów, a backpressure na poziomie połączeń sprawia, że awaria po stronie odbiorcy spowalnia przepływ zamiast zapełniać dysk. Alerty wychwytują ten stan, gdy wciąż jest jeszcze miejsce na reakcję.

Technologie

Apache NiFiApache KafkaApache Hadoop

Problem produkcyjny z Apache NiFi?

Starsi inżynierowie Apache NiFi w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.