Überblick
Mit dem NiFi-Canvas ist ein Flow schnell gebaut – und ebenso schnell ein Flow, den niemand mehr gefahrlos ändern kann. Fest verdrahtete Endpunkte, keine Grenzen zwischen Process Groups und keine Versionskontrolle ergeben eine Integrationsschicht, in der jede Änderung eine Produktionsänderung ist. AceMQ baut den Canvas in versionierte, parametrisierte Komponenten mit einem echten Promotion-Pfad um.
Herausforderung
Gewachsene NiFi-Installationen haben oft einen einzigen Canvas mit Hunderten Prozessoren, direkt in die Prozessor-Properties eingetippte Zugangsdaten und Hostnamen, keine Trennung der Umgebungen und Änderungen, die live in Produktion vorgenommen werden, weil es keine andere Umgebung gibt. Niemand weiß, welche Teile des Canvas noch aktiv sind. Ein Produktionsproblem anderswo nachzustellen, ist unmöglich, und ein versehentliches Ziehen auf dem Canvas kann einen Ingestion-Pfad stoppen.
Umgebung
Apache-NiFi-Cluster, die Feldgeräte, Unternehmenssysteme, Kafka und Object Storage über On-Premises- und Cloud-Umgebungen hinweg integrieren.
Vorgehen
AceMQ zerlegt den Canvas in Process Groups entlang logischer Integrationspfade, lagert umgebungsspezifische Werte in Parameter Contexts aus und verlagert Zugangsdaten in Parameter Providers, die auf einen echten Secrets Store zugreifen. Die Flows kommen unter Versionskontrolle in der NiFi Registry, mit einem Promotion-Pfad über die Umgebungen; ruhende Pfade werden identifiziert und stillgelegt.
Lösung
- Zerlegung des Canvas in Process Groups entlang logischer Integrationspfade mit klar definierter Verantwortung
- Auslagerung in Parameter Contexts, damit Endpunkte, Pfade und Tuning-Werte nicht mehr fest in Prozessor-Properties stehen
- Migration der Zugangsdaten in Parameter Providers mit Secrets Store – Klartextwerte verschwinden aus der Flow-Definition
- Versionskontrolle in der NiFi Registry mit definiertem Promotion-Pfad über Entwicklung, Test und Produktion
- Identifikation ruhender Flows anhand von Provenance-Daten und Stilllegung von Pfaden, über die kein Traffic mehr läuft
- Wiederverwendbare Flow-Vorlagen und Namenskonventionen, damit neue Integrationen der Struktur folgen, statt den Wildwuchs zu vergrößern
Resultat
Flow-Änderungen laufen über einen Promotion-Pfad, statt live in Produktion vorgenommen zu werden, und Unterschiede zwischen Umgebungen werden zu Parameterwerten statt zu getrennten Canvases. Durch die Stilllegung ruhender Pfade verschwindet typischerweise ein erheblicher Teil der Prozessoren vom Canvas.