Retour à tous les cas d'usage

SupportSecteur public / défense

Des nœuds qui décrochent sous charge, se reconnectent puis décrochent à nouveau : le plus souvent à cause du GC, pas du réseau

Organisme du secteur public

Résolution des déconnexions de nœuds d'un cluster NiFi sous charge, dues à des timeouts de heartbeat, à des pauses GC et à des défaillances de coordination ZooKeeper.

Présentation

Un nœud NiFi qui manque ses heartbeats est déconnecté par le coordinateur du cluster et, sous une charge soutenue, le cycle déconnexion-reconnexion peut se répéter jusqu'à rendre le flux pratiquement indisponible. Le réseau en est rarement la cause. AceMQ identifie le véritable déclencheur et stabilise le cluster.

Défi

Les longues pauses de garbage collection en sont la cause la plus fréquente : un heap dimensionné sans tenir compte du volume d'attributs des flowfiles, ou des processeurs qui conservent de grandes maps d'attributs en mémoire, provoquent des full GC plus longs que l'intervalle de heartbeat. Parmi les autres déclencheurs figurent les timeouts de session ZooKeeper en cas de contention d'E/S, ainsi que les échecs de synchronisation du flux lorsqu'un nœud se reconnecte avec une définition de flux divergente. Les trois se manifestent de la même façon dans l'interface, et chacun se corrige différemment.

Environnement

Clusters Apache NiFi avec ZooKeeper embarqué ou externe, sur VM on-premise ou cloud, exécutant des flux d'ingestion à fort volume.

Approche

Les ingénieurs AceMQ corrèlent les logs GC, la chronologie des heartbeats et les événements de session ZooKeeper avec les horodatages des déconnexions pour établir lequel des trois est réellement en cause. La stabilisation immédiate ajuste le heap, le garbage collector et les valeurs de timeout ; le correctif durable traite la conception du flux ou le volume d'attributs qui allongeaient les pauses au départ.

Solution

  1. Objectifs de réponse à partir de 15 minutes, selon le plan, avec des ingénieurs seniors attitrés, 24/7, sans tri de niveau 1
  2. Corrélation des logs GC, des heartbeats et des sessions ZooKeeper avec les événements de déconnexion pour identifier le véritable déclencheur
  3. Dimensionnement du heap et configuration du garbage collector adaptés au volume d'attributs des flowfiles et au nombre de processeurs concurrents
  4. Ajustement de l'intervalle de heartbeat du cluster et du timeout de session ZooKeeper avec une marge supérieure à la durée de pause observée
  5. Revue des flux à la recherche de processeurs conservant de gros attributs en mémoire, avec transfert des données utiles vers le contenu plutôt que vers les attributs
  6. Procédures de synchronisation des flux et de reconnexion des nœuds en cas de définitions de flux divergentes après un redémarrage de cluster raté

Résultat obtenu

Les déconnexions de nœuds cessent aux niveaux de charge qui les déclenchaient auparavant, et le cluster encaisse les pics d'ingestion sans cycle de reconnexion. Lorsque le volume d'attributs était en cause, la pression mémoire baisse suffisamment pour que le heap puisse être réduit plutôt qu'augmenté.

Technologies

Apache NiFiZooKeeperApache Kafka

Besoin d'un support Apache NiFi expert ?

Les ingénieurs Apache NiFi seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.