Retour à tous les cas d'usage

RemédiationÉnergie / services publics

Sans seuils de backpressure, NiFi remplira le disque sans broncher

Opérateur régional de services publics

Remise en service de nœuds NiFi dont le content repository s'est rempli parce qu'un processor en aval, en backpressure, n'avait aucune limite de file d'attente en amont.

Présentation

NiFi stocke le contenu des flowfiles sur disque, dans le content repository, et les connexions dépourvues de seuils de backpressure mettent les données en file d'attente indéfiniment. Lorsqu'un processor en aval ralentit ou s'arrête, les processors en amont continuent de produire et le repository grossit jusqu'à saturer le volume ; à ce stade, le nœud ne peut plus écrire non plus la provenance et s'arrête de fait. AceMQ remet le nœud en service et fixe les limites qui auraient dû exister.

Défi

La séquence de défaillance est toujours la même : un système de destination devient indisponible ou lent, son processor cesse de vider sa file entrante, les processors en amont continuent de produire, et les files des connexions grossissent sans limite parce que les seuils par défaut n'ont jamais été ajustés. Le disque se remplit, le provenance repository ne peut plus écrire et le nœud cesse complètement de traiter. La reprise est délicate, car supprimer à la main des fichiers du repository corrompt l'état des flowfiles, et le contenu archivé complique encore la situation.

Environnement

Clusters Apache NiFi on-premise ou sur VM cloud, avec des repositories de flowfiles, de contenu et de provenance séparés, ingérant des données issues de systèmes de terrain et d'entreprise.

Approche

AceMQ récupère l'espace disque en toute sécurité, par l'expiration de l'archive de contenu et une vidange contrôlée des files plutôt que par la suppression manuelle de fichiers, puis remet en service le nœud et le flux. Le travail durable consiste à définir des seuils de backpressure en nombre d'objets et en volume de données sur chaque connexion, à ajouter de l'équilibrage de charge et de la priorisation là où c'est pertinent, et à placer chaque repository sur son propre volume pour que la saturation de l'un n'arrête pas les autres.

Solution

  1. Récupération sûre de l'espace disque par expiration de l'archive de contenu et vidange contrôlée des files, sans suppression manuelle de fichiers du repository
  2. Seuils de backpressure en nombre d'objets et en volume de données appliqués à chaque connexion, dimensionnés selon le débit en aval
  3. Paramètres d'archivage du content repository, durée de rétention et pourcentage d'utilisation ajustés au volume disponible
  4. Séparation des repositories sur des volumes dédiés, pour que la croissance du contenu ne puisse pas bloquer les écritures de provenance et de flowfiles
  5. Conception des chemins d'échec des processors concernés, avec un routage vers un flux de réessai ou d'attente au lieu d'une mise en file indéfinie
  6. Alertes sur l'utilisation disque, la profondeur des files et la backpressure, pour que la situation déclenche une alarme bien avant la saturation du volume

Résultat obtenu

Les nœuds concernés reviennent en service sans perte de flowfiles, et grâce à la backpressure au niveau des connexions, une panne en aval ralentit désormais le flux au lieu de remplir le disque. Les alertes détectent la situation tant qu'il reste de la marge pour agir.

Technologies

Apache NiFiApache KafkaApache Hadoop

Confronté à un incident de production Apache NiFi ?

Les ingénieurs Apache NiFi seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.