Przegląd
Canvas NiFi ułatwia zbudowanie przepływu — i równie łatwo pozwala zbudować przepływ, którego nikt nie może bezpiecznie zmienić. Zakodowane na sztywno endpointy, brak granic process groups i brak kontroli wersji tworzą warstwę integracyjną, w której każda zmiana jest zmianą produkcyjną. AceMQ przebudowuje canvas w wersjonowane, sparametryzowane komponenty z prawdziwą ścieżką promocji.
Wyzwanie
Dojrzałe instalacje NiFi często mają jeden canvas z setkami procesorów, poświadczenia i nazwy hostów wpisane bezpośrednio we właściwości procesorów, brak rozdziału między środowiskami oraz zmiany wprowadzane na żywo na produkcji, bo innego środowiska po prostu nie ma. Nikt nie wie, które części canvasu są nadal aktywne. Odtworzenie problemu produkcyjnego gdzie indziej jest niemożliwe, a jedno nieuważne przeciągnięcie na canvasie może zatrzymać ścieżkę ingestii.
Środowisko
Klastry Apache NiFi integrujące urządzenia obiektowe, systemy korporacyjne, Kafkę i magazyn obiektowy w środowiskach on-premises i chmurowych.
Podejście
AceMQ dzieli canvas na process groups odpowiadające logicznym ścieżkom integracji, wyodrębnia wartości specyficzne dla środowisk do parameter contexts i przenosi poświadczenia do parameter providers opartych na prawdziwym magazynie sekretów. Przepływy trafiają pod kontrolę wersji w NiFi Registry ze ścieżką promocji między środowiskami, a uśpione ścieżki są identyfikowane i wycofywane.
Rozwiązanie
- Podział canvasu na process groups odpowiadające logicznym ścieżkom integracji, z określonymi właścicielami
- Wyodrębnienie parameter contexts, dzięki któremu endpointy, ścieżki i wartości strojenia przestają być zakodowane na sztywno we właściwościach procesorów
- Migracja poświadczeń do parameter providers opartych na magazynie sekretów, usuwająca jawne wartości z definicji przepływu
- Kontrola wersji w NiFi Registry ze zdefiniowaną ścieżką promocji przez środowiska deweloperskie, testowe i produkcyjne
- Identyfikacja uśpionych przepływów na podstawie danych provenance i wycofanie ścieżek, którymi nie płynie już ruch
- Szablony przepływów wielokrotnego użytku i konwencje nazewnictwa, dzięki którym nowe integracje wpisują się w strukturę, zamiast powiększać chaos
Efekt
Zmiany przepływów przechodzą przez ścieżkę promocji, zamiast być wprowadzane na żywo na produkcji, a różnice między środowiskami stają się wartościami parametrów, a nie osobnymi canvasami. Wycofanie uśpionych ścieżek zwykle usuwa znaczną część procesorów z canvasu.