Przegląd
NiFi świetnie sprawdza się w przesyłaniu heterogenicznych danych przez różnorodne protokoły, a mimo to rutynowo używa się go do harmonogramowej orkiestracji wsadowej i ciężkich transformacji, z którymi inne narzędzia radzą sobie lepiej. AceMQ ocenia środowisko pod kątem pojemności, zgodności i dopasowania obciążeń oraz wskazuje, które przepływy należy przenieść.
Wyzwanie
Środowiska rozrastają się ponad to, co ktokolwiek przegląda. Retencja provenance bywa zbyt krótka, by odpowiedzieć na pytania audytowe, na które organizacja ma obowiązek odpowiadać, TLS i autoryzacja mogą być skonfigurowane niespójnie na różnych węzłach, a rozmiar repozytoriów może nie zostawiać żadnego zapasu na wypadek awarii systemu downstream. Tymczasem przepływy, które w rzeczywistości są harmonogramowanymi zadaniami wsadowymi o złożonych zależnościach, działają w NiFi, gdzie semantyka zależności i zachowanie ponowień są trudniejsze do przewidzenia niż w harmonogramie zadań.
Środowisko
Klastry i samodzielne instancje Apache NiFi w środowiskach lokalnych i chmurowych, pobierające dane z systemów terenowych, korporacyjnych i partnerskich.
Podejście
AceMQ profiluje przepustowość i wykorzystanie repozytoriów w odniesieniu do pojemności, sprawdza konfigurację bezpieczeństwa i provenance względem rzeczywistych obowiązków audytowych organizacji i klasyfikuje każdy przepływ według tego, czy NiFi jest dla niego właściwym miejscem. Ustalenia zawierają konkretne zalecane działanie dla każdego przepływu, a nie ogólną ocenę.
Rozwiązanie
- Profilowanie przepustowości i wykorzystania repozytoriów względem pojemności węzłów, z pomiarem zapasu na scenariusze awarii systemów downstream
- Przegląd retencji i indeksowania provenance pod kątem pytań o audyt i pochodzenie danych, na które organizacja musi umieć odpowiedzieć
- Przegląd poziomu bezpieczeństwa obejmujący TLS, uwierzytelnianie, polityki autoryzacji i szyfrowanie wrażliwych właściwości na wszystkich węzłach
- Audyt konfiguracji backpressure, priorytetyzacji i równoważenia obciążenia na wszystkich połączeniach
- Klasyfikacja dopasowania obciążeń wskazująca przepływy, które lepiej obsłuży harmonogram zadań lub procesor strumieni niż NiFi
- Przegląd aktualności wersji, ścieżki aktualizacji i ekspozycji na CVE w całym stosie NiFi i ZooKeeper
Efekt
Klienci otrzymują obraz pojemności i zgodności oparty na zmierzonych danych oraz rekomendację dla każdego przepływu: co zostaje, co wymaga przebudowy, a co należy przenieść do odpowiedniejszego narzędzia. Ustalenia dotyczące bezpieczeństwa są zazwyczaj najpilniejszym wynikiem.