Zurück zu allen Kundenbeispielen

SupportBehörden / Verteidigung

Nodes fallen unter Last heraus, treten wieder bei und fallen erneut heraus – meist liegt es an der GC, nicht am Netzwerk

Behörde des öffentlichen Sektors

Behebung von Nodes, die sich unter Last von einem NiFi-Cluster trennen – durch Heartbeat-Timeouts, GC-Pausen und Koordinationsfehler in ZooKeeper.

Überblick

Ein NiFi-Node, der Heartbeats verpasst, wird vom Cluster Coordinator getrennt, und unter Dauerlast kann sich der Zyklus aus Trennen und Wiederbeitreten so lange wiederholen, bis der Flow faktisch nicht mehr verfügbar ist. Das Netzwerk ist selten die Ursache. AceMQ diagnostiziert den tatsächlichen Auslöser und stabilisiert den Cluster.

Herausforderung

Lange Garbage-Collection-Pausen sind die häufigste Ursache: Ein Heap, der ohne Rücksicht auf das Volumen der FlowFile-Attribute dimensioniert wurde, oder Prozessoren, die große Attribut-Maps im Speicher halten, erzeugen Full-GC-Pausen, die länger sind als das Heartbeat-Intervall. Weitere Auslöser sind Session-Timeouts in ZooKeeper bei I/O-Contention sowie Fehler bei der Flow-Synchronisierung, wenn ein Node mit abweichender Flow-Definition wieder beitritt. Alle drei sehen in der UI gleich aus, und jeder wird anders behoben.

Umgebung

Apache-NiFi-Cluster mit eingebettetem oder externem ZooKeeper, auf On-Premises- oder Cloud-VMs, mit Ingestion-Flows für hohe Volumen.

Vorgehen

Die Engineers von AceMQ korrelieren GC-Logs, Heartbeat-Timing und ZooKeeper-Session-Events mit den Zeitpunkten der Disconnects, um festzustellen, welcher der drei Auslöser tatsächlich verantwortlich ist. Zur sofortigen Stabilisierung werden Heap, Garbage Collector und Timeout-Werte angepasst; die dauerhafte Lösung setzt am Flow-Design oder am Attributvolumen an, das die Pausen überhaupt erst so lang gemacht hat.

Lösung

  1. Reaktionszeitziele ab 15 Minuten, je nach Plan, mit namentlich zugeordneten Senior Engineers, 24/7, ohne Tier-1-Triage
  2. Korrelation von GC-Logs, Heartbeats und ZooKeeper-Sessions mit Disconnect-Ereignissen, um den tatsächlichen Auslöser zu identifizieren
  3. Heap-Größe und Garbage-Collector-Konfiguration passend zum Volumen der FlowFile-Attribute und zur Anzahl gleichzeitiger Prozessoren
  4. Heartbeat-Intervall des Clusters und Session-Timeout von ZooKeeper mit Reserve über der beobachteten Pausendauer angepasst
  5. Flow-Review auf Prozessoren, die große Attribute im Speicher halten, und Verlagerung von Payload-Daten in den Content statt in Attribute
  6. Verfahren für Flow-Synchronisierung und Wiederbeitritt von Nodes bei abweichenden Flow-Definitionen nach einem fehlgeschlagenen Cluster-Neustart

Resultat

Node-Disconnects bleiben bei den Lastniveaus aus, die sie früher ausgelöst haben, und der Cluster übersteht Ingestion-Spitzen ohne Wiederbeitrittszyklus. Wo das Attributvolumen die Ursache war, sinkt der Speicherdruck so weit, dass der Heap verkleinert statt vergrößert werden konnte.

Technologien

Apache NiFiZooKeeperApache Kafka

Brauchen Sie Expertensupport für Apache NiFi?

Die Senior Engineers von AceMQ für Apache NiFi haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.