Présentation
NiFi excelle dans le déplacement de données hétérogènes sur des protocoles variés, mais il est couramment utilisé pour l'orchestration de batchs planifiés et des transformations lourdes que d'autres outils gèrent mieux. AceMQ évalue le parc sous l'angle de la capacité, de la conformité et de l'adéquation des charges, et indique quels flux devraient migrer.
Défi
Les parcs grandissent au-delà de ce que quiconque passe en revue. La rétention de la provenance peut être trop courte pour répondre aux questions d'audit auxquelles l'organisation est tenue de répondre, TLS et les autorisations peuvent être configurés de manière incohérente d'un nœud à l'autre, et le dimensionnement des repositories peut ne laisser aucune marge en cas de panne en aval. Pendant ce temps, des flux qui sont en réalité des batchs planifiés aux dépendances complexes tournent sur NiFi, où la sémantique des dépendances et le comportement des relances sont plus difficiles à appréhender que dans un ordonnanceur.
Environnement
Clusters et instances autonomes Apache NiFi, sur site et dans le cloud, ingérant des données issues du terrain, des systèmes de l'entreprise et des partenaires.
Approche
AceMQ profile le débit et l'utilisation des repositories au regard de la capacité, examine la configuration de sécurité et de provenance au regard des obligations d'audit réelles de l'organisation, et classe chaque flux selon que NiFi est ou non le bon hôte pour lui. Chaque constat s'accompagne d'une action recommandée précise par flux plutôt que d'une évaluation générale.
Solution
- Profilage du débit et de l'utilisation des repositories par rapport à la capacité des nœuds, avec mesure de la marge disponible en cas de panne en aval
- Revue de la rétention et de l'indexation de la provenance au regard des questions d'audit et de lignage auxquelles l'organisation doit pouvoir répondre
- Revue de la posture de sécurité couvrant TLS, l'authentification, les politiques d'autorisation et le chiffrement des propriétés sensibles sur l'ensemble des nœuds
- Audit de la configuration de la backpressure, des priorités et de la répartition de charge sur toutes les connexions
- Classement des charges selon leur adéquation, pour identifier les flux mieux servis par un ordonnanceur ou un moteur de traitement de flux que par NiFi
- Revue de l'actualité des versions, du chemin de mise à niveau et de l'exposition aux CVE sur la pile NiFi et ZooKeeper
Résultat obtenu
Les clients obtiennent une vision de leur capacité et de leur conformité étayée par des données mesurées, ainsi qu'une recommandation par flux sur ce qui reste, ce qui est restructuré et ce qui migre vers un outil plus adapté. Les constats de sécurité sont généralement les plus urgents.