Présentation
Le canvas de NiFi permet de construire facilement un flux, et tout aussi facilement un flux que personne ne peut modifier sans risque. Endpoints codés en dur, absence de frontières entre process groups et absence de gestion de versions produisent une couche d'intégration où chaque modification est une modification de production. AceMQ restructure le canvas en composants versionnés et paramétrés, avec un véritable circuit de promotion.
Défi
Les installations NiFi matures se résument souvent à un canvas unique comptant des centaines de processors, avec des identifiants et des noms d'hôtes saisis directement dans les propriétés des processors, aucune séparation entre environnements et des modifications faites à chaud en production, faute d'un autre environnement. Personne ne sait quelles parties du canvas sont encore actives. Reproduire ailleurs un problème de production est impossible, et un glisser-déposer malencontreux sur le canvas peut interrompre un flux d'ingestion.
Environnement
Clusters Apache NiFi intégrant équipements de terrain, systèmes d'entreprise, Kafka et stockage objet, sur des environnements on-premise et cloud.
Approche
AceMQ découpe le canvas en process groups alignés sur des chemins d'intégration logiques, extrait les valeurs propres à chaque environnement dans des parameter contexts et déplace les identifiants vers des parameter providers adossés à un véritable coffre-fort de secrets. Les flux passent sous la gestion de versions de NiFi Registry, avec un circuit de promotion entre environnements, et les chemins dormants sont identifiés puis retirés.
Solution
- Découpage du canvas en process groups alignés sur des chemins d'intégration logiques, avec des responsables définis
- Extraction dans des parameter contexts, pour que les endpoints, chemins et paramètres de réglage ne soient plus codés en dur dans les propriétés des processors
- Migration des identifiants vers des parameter providers adossés à un coffre-fort de secrets, supprimant les valeurs en clair de la définition des flux
- Gestion de versions via NiFi Registry, avec un circuit de promotion défini entre développement, test et production
- Identification des flux dormants à partir des données de provenance, et retrait des chemins qui ne transportent plus de trafic
- Modèles de flux réutilisables et conventions de nommage, pour que les nouvelles intégrations suivent la structure au lieu d'aggraver l'étalement
Résultat obtenu
Les modifications de flux suivent un circuit de promotion au lieu d'être faites à chaud en production, et les différences entre environnements deviennent des valeurs de paramètres plutôt que des canvas distincts. Le retrait des chemins dormants supprime généralement une part importante des processors du canvas.