Présentation
NiFi stocke le contenu des flowfiles sur disque, dans le content repository, et les connexions dépourvues de seuils de backpressure mettent les données en file d'attente indéfiniment. Lorsqu'un processor en aval ralentit ou s'arrête, les processors en amont continuent de produire et le repository grossit jusqu'à saturer le volume ; à ce stade, le nœud ne peut plus écrire non plus la provenance et s'arrête de fait. AceMQ remet le nœud en service et fixe les limites qui auraient dû exister.
Défi
La séquence de défaillance est toujours la même : un système de destination devient indisponible ou lent, son processor cesse de vider sa file entrante, les processors en amont continuent de produire, et les files des connexions grossissent sans limite parce que les seuils par défaut n'ont jamais été ajustés. Le disque se remplit, le provenance repository ne peut plus écrire et le nœud cesse complètement de traiter. La reprise est délicate, car supprimer à la main des fichiers du repository corrompt l'état des flowfiles, et le contenu archivé complique encore la situation.
Environnement
Clusters Apache NiFi on-premise ou sur VM cloud, avec des repositories de flowfiles, de contenu et de provenance séparés, ingérant des données issues de systèmes de terrain et d'entreprise.
Approche
AceMQ récupère l'espace disque en toute sécurité, par l'expiration de l'archive de contenu et une vidange contrôlée des files plutôt que par la suppression manuelle de fichiers, puis remet en service le nœud et le flux. Le travail durable consiste à définir des seuils de backpressure en nombre d'objets et en volume de données sur chaque connexion, à ajouter de l'équilibrage de charge et de la priorisation là où c'est pertinent, et à placer chaque repository sur son propre volume pour que la saturation de l'un n'arrête pas les autres.
Solution
- Récupération sûre de l'espace disque par expiration de l'archive de contenu et vidange contrôlée des files, sans suppression manuelle de fichiers du repository
- Seuils de backpressure en nombre d'objets et en volume de données appliqués à chaque connexion, dimensionnés selon le débit en aval
- Paramètres d'archivage du content repository, durée de rétention et pourcentage d'utilisation ajustés au volume disponible
- Séparation des repositories sur des volumes dédiés, pour que la croissance du contenu ne puisse pas bloquer les écritures de provenance et de flowfiles
- Conception des chemins d'échec des processors concernés, avec un routage vers un flux de réessai ou d'attente au lieu d'une mise en file indéfinie
- Alertes sur l'utilisation disque, la profondeur des files et la backpressure, pour que la situation déclenche une alarme bien avant la saturation du volume
Résultat obtenu
Les nœuds concernés reviennent en service sans perte de flowfiles, et grâce à la backpressure au niveau des connexions, une panne en aval ralentit désormais le flux au lieu de remplir le disque. Les alertes détectent la situation tant qu'il reste de la marge pour agir.