Retour à tous les cas d'usage

AuditMultisectoriel

Découvrez ce que fait réellement votre parc NiFi, et ce qu'il devrait cesser de faire

Entreprise technologique des sciences de la vie

Audit d'un parc NiFi portant sur la marge de débit, la couverture de la provenance et de l'audit, la posture de sécurité, et sur les flux qui ont réellement leur place dans NiFi.

Présentation

NiFi excelle dans le déplacement de données hétérogènes sur des protocoles variés, mais il est couramment utilisé pour l'orchestration de batchs planifiés et des transformations lourdes que d'autres outils gèrent mieux. AceMQ évalue le parc sous l'angle de la capacité, de la conformité et de l'adéquation des charges, et indique quels flux devraient migrer.

Défi

Les parcs grandissent au-delà de ce que quiconque passe en revue. La rétention de la provenance peut être trop courte pour répondre aux questions d'audit auxquelles l'organisation est tenue de répondre, TLS et les autorisations peuvent être configurés de manière incohérente d'un nœud à l'autre, et le dimensionnement des repositories peut ne laisser aucune marge en cas de panne en aval. Pendant ce temps, des flux qui sont en réalité des batchs planifiés aux dépendances complexes tournent sur NiFi, où la sémantique des dépendances et le comportement des relances sont plus difficiles à appréhender que dans un ordonnanceur.

Environnement

Clusters et instances autonomes Apache NiFi, sur site et dans le cloud, ingérant des données issues du terrain, des systèmes de l'entreprise et des partenaires.

Approche

AceMQ profile le débit et l'utilisation des repositories au regard de la capacité, examine la configuration de sécurité et de provenance au regard des obligations d'audit réelles de l'organisation, et classe chaque flux selon que NiFi est ou non le bon hôte pour lui. Chaque constat s'accompagne d'une action recommandée précise par flux plutôt que d'une évaluation générale.

Solution

  1. Profilage du débit et de l'utilisation des repositories par rapport à la capacité des nœuds, avec mesure de la marge disponible en cas de panne en aval
  2. Revue de la rétention et de l'indexation de la provenance au regard des questions d'audit et de lignage auxquelles l'organisation doit pouvoir répondre
  3. Revue de la posture de sécurité couvrant TLS, l'authentification, les politiques d'autorisation et le chiffrement des propriétés sensibles sur l'ensemble des nœuds
  4. Audit de la configuration de la backpressure, des priorités et de la répartition de charge sur toutes les connexions
  5. Classement des charges selon leur adéquation, pour identifier les flux mieux servis par un ordonnanceur ou un moteur de traitement de flux que par NiFi
  6. Revue de l'actualité des versions, du chemin de mise à niveau et de l'exposition aux CVE sur la pile NiFi et ZooKeeper

Résultat obtenu

Les clients obtiennent une vision de leur capacité et de leur conformité étayée par des données mesurées, ainsi qu'une recommandation par flux sur ce qui reste, ce qui est restructuré et ce qui migre vers un outil plus adapté. Les constats de sécurité sont généralement les plus urgents.

Technologies

Apache NiFiApache KafkaApache AirflowKubernetes

Prêt pour un bilan de santé Apache NiFi ?

Les ingénieurs Apache NiFi seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.