Powrót do wszystkich studiów przypadków

DoradztwoPrzemysł / produkcja

Zamiana canvasu, którego nikt nie chce dotykać, w przepływy, które można wersjonować i promować

Producent systemów automatyki przemysłowej

Przebudowa rozrośniętych canvasów NiFi w wersjonowane, sparametryzowane i testowalne przepływy ze ścieżką promocji między środowiskami.

Przegląd

Canvas NiFi ułatwia zbudowanie przepływu — i równie łatwo pozwala zbudować przepływ, którego nikt nie może bezpiecznie zmienić. Zakodowane na sztywno endpointy, brak granic process groups i brak kontroli wersji tworzą warstwę integracyjną, w której każda zmiana jest zmianą produkcyjną. AceMQ przebudowuje canvas w wersjonowane, sparametryzowane komponenty z prawdziwą ścieżką promocji.

Wyzwanie

Dojrzałe instalacje NiFi często mają jeden canvas z setkami procesorów, poświadczenia i nazwy hostów wpisane bezpośrednio we właściwości procesorów, brak rozdziału między środowiskami oraz zmiany wprowadzane na żywo na produkcji, bo innego środowiska po prostu nie ma. Nikt nie wie, które części canvasu są nadal aktywne. Odtworzenie problemu produkcyjnego gdzie indziej jest niemożliwe, a jedno nieuważne przeciągnięcie na canvasie może zatrzymać ścieżkę ingestii.

Środowisko

Klastry Apache NiFi integrujące urządzenia obiektowe, systemy korporacyjne, Kafkę i magazyn obiektowy w środowiskach on-premises i chmurowych.

Podejście

AceMQ dzieli canvas na process groups odpowiadające logicznym ścieżkom integracji, wyodrębnia wartości specyficzne dla środowisk do parameter contexts i przenosi poświadczenia do parameter providers opartych na prawdziwym magazynie sekretów. Przepływy trafiają pod kontrolę wersji w NiFi Registry ze ścieżką promocji między środowiskami, a uśpione ścieżki są identyfikowane i wycofywane.

Rozwiązanie

  1. Podział canvasu na process groups odpowiadające logicznym ścieżkom integracji, z określonymi właścicielami
  2. Wyodrębnienie parameter contexts, dzięki któremu endpointy, ścieżki i wartości strojenia przestają być zakodowane na sztywno we właściwościach procesorów
  3. Migracja poświadczeń do parameter providers opartych na magazynie sekretów, usuwająca jawne wartości z definicji przepływu
  4. Kontrola wersji w NiFi Registry ze zdefiniowaną ścieżką promocji przez środowiska deweloperskie, testowe i produkcyjne
  5. Identyfikacja uśpionych przepływów na podstawie danych provenance i wycofanie ścieżek, którymi nie płynie już ruch
  6. Szablony przepływów wielokrotnego użytku i konwencje nazewnictwa, dzięki którym nowe integracje wpisują się w strukturę, zamiast powiększać chaos

Efekt

Zmiany przepływów przechodzą przez ścieżkę promocji, zamiast być wprowadzane na żywo na produkcji, a różnice między środowiskami stają się wartościami parametrów, a nie osobnymi canvasami. Wycofanie uśpionych ścieżek zwykle usuwa znaczną część procesorów z canvasu.

Technologie

Apache NiFiNiFi RegistryApache KafkaKubernetes

Potrzebują Państwo doradztwa w zakresie architektury Apache NiFi?

Starsi inżynierowie Apache NiFi w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.