Présentation
Un nœud NiFi qui manque ses heartbeats est déconnecté par le coordinateur du cluster et, sous une charge soutenue, le cycle déconnexion-reconnexion peut se répéter jusqu'à rendre le flux pratiquement indisponible. Le réseau en est rarement la cause. AceMQ identifie le véritable déclencheur et stabilise le cluster.
Défi
Les longues pauses de garbage collection en sont la cause la plus fréquente : un heap dimensionné sans tenir compte du volume d'attributs des flowfiles, ou des processeurs qui conservent de grandes maps d'attributs en mémoire, provoquent des full GC plus longs que l'intervalle de heartbeat. Parmi les autres déclencheurs figurent les timeouts de session ZooKeeper en cas de contention d'E/S, ainsi que les échecs de synchronisation du flux lorsqu'un nœud se reconnecte avec une définition de flux divergente. Les trois se manifestent de la même façon dans l'interface, et chacun se corrige différemment.
Environnement
Clusters Apache NiFi avec ZooKeeper embarqué ou externe, sur VM on-premise ou cloud, exécutant des flux d'ingestion à fort volume.
Approche
Les ingénieurs AceMQ corrèlent les logs GC, la chronologie des heartbeats et les événements de session ZooKeeper avec les horodatages des déconnexions pour établir lequel des trois est réellement en cause. La stabilisation immédiate ajuste le heap, le garbage collector et les valeurs de timeout ; le correctif durable traite la conception du flux ou le volume d'attributs qui allongeaient les pauses au départ.
Solution
- Objectifs de réponse à partir de 15 minutes, selon le plan, avec des ingénieurs seniors attitrés, 24/7, sans tri de niveau 1
- Corrélation des logs GC, des heartbeats et des sessions ZooKeeper avec les événements de déconnexion pour identifier le véritable déclencheur
- Dimensionnement du heap et configuration du garbage collector adaptés au volume d'attributs des flowfiles et au nombre de processeurs concurrents
- Ajustement de l'intervalle de heartbeat du cluster et du timeout de session ZooKeeper avec une marge supérieure à la durée de pause observée
- Revue des flux à la recherche de processeurs conservant de gros attributs en mémoire, avec transfert des données utiles vers le contenu plutôt que vers les attributs
- Procédures de synchronisation des flux et de reconnexion des nœuds en cas de définitions de flux divergentes après un redémarrage de cluster raté
Résultat obtenu
Les déconnexions de nœuds cessent aux niveaux de charge qui les déclenchaient auparavant, et le cluster encaisse les pics d'ingestion sans cycle de reconnexion. Lorsque le volume d'attributs était en cause, la pression mémoire baisse suffisamment pour que le heap puisse être réduit plutôt qu'augmenté.