Torna a tutti i casi d'uso

SupportoPubblica amministrazione / Difesa

I nodi escono dal cluster sotto carico, rientrano ed escono di nuovo: di solito è la GC, non la rete

Ente della pubblica amministrazione

Risoluzione delle disconnessioni dei nodi da un cluster NiFi sotto carico, causate da timeout degli heartbeat, pause della garbage collection ed errori di coordinamento di ZooKeeper.

Panoramica

Un nodo NiFi che salta gli heartbeat viene disconnesso dal cluster coordinator e, sotto carico prolungato, il ciclo di disconnessione e rientro può ripetersi fino a rendere il flusso di fatto indisponibile. La rete raramente è la causa. AceMQ individua il fattore scatenante reale e stabilizza il cluster.

Sfida

Le lunghe pause della garbage collection sono la causa più frequente: un heap dimensionato senza tenere conto del volume degli attributi dei flowfile, o processor che mantengono in memoria grandi mappe di attributi, producono pause di full GC più lunghe dell'intervallo di heartbeat. Altri fattori scatenanti sono i timeout di sessione di ZooKeeper in condizioni di contesa sull'I/O e gli errori di sincronizzazione del flusso quando un nodo rientra con una definizione del flusso divergente. Nell'interfaccia tutti e tre si presentano allo stesso modo, ma ciascuno si risolve in modo diverso.

Ambiente

Cluster Apache NiFi con ZooKeeper integrato o esterno, su VM on-premise o in cloud, con flussi di ingestion ad alto volume.

Approccio

Gli ingegneri AceMQ mettono in correlazione i log della GC, le tempistiche degli heartbeat e gli eventi di sessione di ZooKeeper con gli istanti delle disconnessioni, per stabilire quale delle tre cause sia realmente responsabile. La stabilizzazione immediata interviene su heap, garbage collector e valori di timeout; la correzione definitiva agisce sulla progettazione del flusso o sul volume di attributi che rendevano lunghe le pause.

Soluzione

  1. Obiettivi di risposta da 15 minuti, in base al piano, con ingegneri senior dedicati, 24/7, senza triage di primo livello
  2. Correlazione di log della GC, heartbeat e sessioni ZooKeeper con gli eventi di disconnessione per individuare il fattore scatenante reale
  3. Dimensionamento dell'heap e configurazione del garbage collector commisurati al volume degli attributi dei flowfile e al numero di processor concorrenti
  4. Intervallo di heartbeat del cluster e timeout di sessione di ZooKeeper regolati con un margine rispetto alla durata delle pause osservate
  5. Revisione dei flussi alla ricerca di processor che mantengono in memoria attributi di grandi dimensioni, spostando i dati del payload nel contenuto anziché negli attributi
  6. Procedure di sincronizzazione del flusso e di rientro dei nodi in caso di definizioni divergenti dopo un riavvio del cluster non riuscito

Esito

Le disconnessioni dei nodi cessano ai livelli di carico che in precedenza le provocavano e il cluster regge i picchi di ingestion senza cicli di rientro. Dove la causa era il volume degli attributi, la pressione sulla memoria cala al punto da consentire di ridurre l'heap anziché aumentarlo.

Tecnologie

Apache NiFiZooKeeperApache Kafka

Vi serve supporto specialistico per Apache NiFi?

Gli ingegneri Apache NiFi senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.