Zurück zu allen Kundenbeispielen

BeratungIndustrie / Fertigung

Aus dem Canvas, den niemand anfassen will, Flows machen, die sich versionieren und promoten lassen

Hersteller für Industrieautomation

Umbau ausufernder NiFi-Canvases in versionierte, parametrisierte und testbare Flows mit einem Promotion-Pfad über alle Umgebungen.

Überblick

Mit dem NiFi-Canvas ist ein Flow schnell gebaut – und ebenso schnell ein Flow, den niemand mehr gefahrlos ändern kann. Fest verdrahtete Endpunkte, keine Grenzen zwischen Process Groups und keine Versionskontrolle ergeben eine Integrationsschicht, in der jede Änderung eine Produktionsänderung ist. AceMQ baut den Canvas in versionierte, parametrisierte Komponenten mit einem echten Promotion-Pfad um.

Herausforderung

Gewachsene NiFi-Installationen haben oft einen einzigen Canvas mit Hunderten Prozessoren, direkt in die Prozessor-Properties eingetippte Zugangsdaten und Hostnamen, keine Trennung der Umgebungen und Änderungen, die live in Produktion vorgenommen werden, weil es keine andere Umgebung gibt. Niemand weiß, welche Teile des Canvas noch aktiv sind. Ein Produktionsproblem anderswo nachzustellen, ist unmöglich, und ein versehentliches Ziehen auf dem Canvas kann einen Ingestion-Pfad stoppen.

Umgebung

Apache-NiFi-Cluster, die Feldgeräte, Unternehmenssysteme, Kafka und Object Storage über On-Premises- und Cloud-Umgebungen hinweg integrieren.

Vorgehen

AceMQ zerlegt den Canvas in Process Groups entlang logischer Integrationspfade, lagert umgebungsspezifische Werte in Parameter Contexts aus und verlagert Zugangsdaten in Parameter Providers, die auf einen echten Secrets Store zugreifen. Die Flows kommen unter Versionskontrolle in der NiFi Registry, mit einem Promotion-Pfad über die Umgebungen; ruhende Pfade werden identifiziert und stillgelegt.

Lösung

  1. Zerlegung des Canvas in Process Groups entlang logischer Integrationspfade mit klar definierter Verantwortung
  2. Auslagerung in Parameter Contexts, damit Endpunkte, Pfade und Tuning-Werte nicht mehr fest in Prozessor-Properties stehen
  3. Migration der Zugangsdaten in Parameter Providers mit Secrets Store – Klartextwerte verschwinden aus der Flow-Definition
  4. Versionskontrolle in der NiFi Registry mit definiertem Promotion-Pfad über Entwicklung, Test und Produktion
  5. Identifikation ruhender Flows anhand von Provenance-Daten und Stilllegung von Pfaden, über die kein Traffic mehr läuft
  6. Wiederverwendbare Flow-Vorlagen und Namenskonventionen, damit neue Integrationen der Struktur folgen, statt den Wildwuchs zu vergrößern

Resultat

Flow-Änderungen laufen über einen Promotion-Pfad, statt live in Produktion vorgenommen zu werden, und Unterschiede zwischen Umgebungen werden zu Parameterwerten statt zu getrennten Canvases. Durch die Stilllegung ruhender Pfade verschwindet typischerweise ein erheblicher Teil der Prozessoren vom Canvas.

Technologien

Apache NiFiNiFi RegistryApache KafkaKubernetes

Brauchen Sie Architekturberatung für Apache NiFi?

Die Senior Engineers von AceMQ für Apache NiFi haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.