Przegląd
NiFi przechowuje treść flowfile'ów na dysku w content repository, a połączenia bez progów backpressure kolejkują dane w nieskończoność. Gdy procesor po stronie odbiorcy zwalnia lub się zatrzymuje, procesory wcześniejsze w przepływie nadal produkują dane, a repozytorium rośnie, aż wolumen się zapełni — wtedy węzeł nie może też zapisywać provenance i w praktyce przestaje działać. AceMQ przywraca węzeł do działania i ustawia limity, które powinny były istnieć od początku.
Wyzwanie
Sekwencja awarii jest zawsze podobna: system docelowy staje się niedostępny lub wolny, jego procesor przestaje opróżniać kolejkę wejściową, procesory wcześniejsze w przepływie produkują dalej, a kolejki połączeń rosną bez ograniczeń, bo domyślnych progów nigdy nie dostosowano. Dysk się zapełnia, provenance repository nie może już zapisywać, a węzeł całkowicie przestaje przetwarzać dane. Odtworzenie jest delikatne, bo ręczne usuwanie plików repozytorium uszkadza stan flowfile'ów, a zarchiwizowana treść dodatkowo komplikuje sytuację.
Środowisko
Klastry Apache NiFi on-premises lub na maszynach wirtualnych w chmurze z oddzielnymi repozytoriami flowfile, content i provenance, pobierające dane z systemów obiektowych i korporacyjnych.
Podejście
AceMQ bezpiecznie odzyskuje miejsce na dysku — przez wygaszanie archiwum treści i kontrolowane opróżnianie kolejek zamiast ręcznego usuwania plików — a następnie przywraca węzeł i przepływ. Trwała część pracy polega na ustawieniu progów backpressure dla liczby obiektów i rozmiaru danych na każdym połączeniu, dodaniu równoważenia obciążenia i priorytetyzacji tam, gdzie to zasadne, oraz rozdzieleniu repozytoriów na osobne wolumeny, aby zapełnienie jednego nie zatrzymywało pozostałych.
Rozwiązanie
- Bezpieczne odzyskanie miejsca na dysku przez wygaszanie archiwum treści i kontrolowane opróżnianie kolejek, bez ręcznego usuwania plików repozytorium
- Progi backpressure dla liczby obiektów i rozmiaru danych na każdym połączeniu, dobrane do przepustowości po stronie odbiorcy
- Dostrojenie ustawień archiwum content repository, okresu retencji i procentu wykorzystania do dostępnego wolumenu
- Rozdzielenie repozytoriów na dedykowane wolumeny, aby wzrost treści nie mógł zatrzymać zapisów provenance i flowfile
- Projekt ścieżki obsługi błędów dla objętych problemem procesorów, kierującej dane do przepływu ponowień lub przetrzymania zamiast kolejkowania w nieskończoność
- Alerty dotyczące zajętości dysku, głębokości kolejek i backpressure, dzięki którym stan ten wywołuje alarm na długo przed zapełnieniem wolumenu
Efekt
Objęte problemem węzły wracają do działania bez utraty flowfile'ów, a backpressure na poziomie połączeń sprawia, że awaria po stronie odbiorcy spowalnia przepływ zamiast zapełniać dysk. Alerty wychwytują ten stan, gdy wciąż jest jeszcze miejsce na reakcję.