Zurück zu allen Kundenbeispielen

AssessmentBranchenübergreifend

Finden Sie heraus, was Ihre NiFi-Landschaft tatsächlich tut – und womit sie aufhören sollte

Technologieunternehmen aus den Life Sciences

Assessment einer NiFi-Landschaft auf Durchsatzreserven, Provenance- und Audit-Abdeckung, Sicherheitslage und die Frage, welche Flows überhaupt auf NiFi gehören.

Überblick

NiFi ist sehr stark bei heterogener Datenbewegung über viele Protokolle hinweg und wird regelmäßig für zeitgesteuerte Batch-Orchestrierung und aufwendige Transformationen eingesetzt, die andere Werkzeuge besser erledigen. AceMQ bewertet die Landschaft hinsichtlich Kapazität, Compliance-Lage und Workload-Eignung und benennt, welche Flows umziehen sollten.

Herausforderung

Landschaften wachsen über das hinaus, was irgendjemand prüft. Die Aufbewahrungsdauer der Provenance ist womöglich zu kurz, um die Audit-Fragen zu beantworten, zu denen das Unternehmen verpflichtet ist; TLS und Autorisierung sind auf den Nodes unter Umständen uneinheitlich konfiguriert; und die Dimensionierung der Repositories lässt eventuell keine Reserve für einen Ausfall im Downstream. Gleichzeitig laufen auf NiFi Flows, die eigentlich zeitgesteuerte Batch-Jobs mit komplexen Abhängigkeiten sind – und dort sind Abhängigkeitssemantik und Retry-Verhalten schwerer nachzuvollziehen als in einem Scheduler.

Umgebung

Apache-NiFi-Cluster und Standalone-Instanzen On-Premises und in der Cloud, die Daten aus Feld-, Unternehmens- und Partnersystemen aufnehmen.

Vorgehen

AceMQ profiliert Durchsatz und Repository-Auslastung im Verhältnis zur Kapazität, prüft die Sicherheits- und Provenance-Konfiguration anhand der tatsächlichen Audit-Pflichten des Unternehmens und klassifiziert jeden Flow danach, ob NiFi die richtige Plattform dafür ist. Die Befunde enthalten pro Flow eine konkrete Handlungsempfehlung statt einer allgemeinen Einschätzung.

Lösung

  1. Profiling von Durchsatz und Repository-Auslastung im Verhältnis zur Node-Kapazität, mit gemessener Reserve für Ausfallszenarien im Downstream
  2. Review von Aufbewahrung und Indizierung der Provenance anhand der Audit- und Lineage-Fragen, die das Unternehmen beantworten können muss
  3. Review der Sicherheitslage über alle Nodes hinweg: TLS, Authentifizierung, Autorisierungsrichtlinien und Verschlüsselung sensibler Properties
  4. Audit der Konfiguration von Backpressure, Priorisierung und Load Balancing über alle Connections
  5. Klassifizierung der Workload-Eignung, die Flows identifiziert, die mit einem Scheduler oder Stream Processor besser bedient sind als mit NiFi
  6. Review von Versionsstand, Upgrade-Pfad und CVE-Exposition über den gesamten NiFi- und ZooKeeper-Stack

Resultat

Kunden erhalten ein auf Messdaten gestütztes Bild von Kapazität und Compliance sowie für jeden Flow eine Empfehlung, was bleibt, was umstrukturiert wird und was auf ein geeigneteres Werkzeug umzieht. Die Sicherheitsbefunde sind in der Regel das dringlichste Ergebnis.

Technologien

Apache NiFiApache KafkaApache AirflowKubernetes

Bereit für einen Apache NiFi-Health-Check?

Die Senior Engineers von AceMQ für Apache NiFi haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.