Panoramica
Un nodo NiFi che salta gli heartbeat viene disconnesso dal cluster coordinator e, sotto carico prolungato, il ciclo di disconnessione e rientro può ripetersi fino a rendere il flusso di fatto indisponibile. La rete raramente è la causa. AceMQ individua il fattore scatenante reale e stabilizza il cluster.
Sfida
Le lunghe pause della garbage collection sono la causa più frequente: un heap dimensionato senza tenere conto del volume degli attributi dei flowfile, o processor che mantengono in memoria grandi mappe di attributi, producono pause di full GC più lunghe dell'intervallo di heartbeat. Altri fattori scatenanti sono i timeout di sessione di ZooKeeper in condizioni di contesa sull'I/O e gli errori di sincronizzazione del flusso quando un nodo rientra con una definizione del flusso divergente. Nell'interfaccia tutti e tre si presentano allo stesso modo, ma ciascuno si risolve in modo diverso.
Ambiente
Cluster Apache NiFi con ZooKeeper integrato o esterno, su VM on-premise o in cloud, con flussi di ingestion ad alto volume.
Approccio
Gli ingegneri AceMQ mettono in correlazione i log della GC, le tempistiche degli heartbeat e gli eventi di sessione di ZooKeeper con gli istanti delle disconnessioni, per stabilire quale delle tre cause sia realmente responsabile. La stabilizzazione immediata interviene su heap, garbage collector e valori di timeout; la correzione definitiva agisce sulla progettazione del flusso o sul volume di attributi che rendevano lunghe le pause.
Soluzione
- Obiettivi di risposta da 15 minuti, in base al piano, con ingegneri senior dedicati, 24/7, senza triage di primo livello
- Correlazione di log della GC, heartbeat e sessioni ZooKeeper con gli eventi di disconnessione per individuare il fattore scatenante reale
- Dimensionamento dell'heap e configurazione del garbage collector commisurati al volume degli attributi dei flowfile e al numero di processor concorrenti
- Intervallo di heartbeat del cluster e timeout di sessione di ZooKeeper regolati con un margine rispetto alla durata delle pause osservate
- Revisione dei flussi alla ricerca di processor che mantengono in memoria attributi di grandi dimensioni, spostando i dati del payload nel contenuto anziché negli attributi
- Procedure di sincronizzazione del flusso e di rientro dei nodi in caso di definizioni divergenti dopo un riavvio del cluster non riuscito
Esito
Le disconnessioni dei nodi cessano ai livelli di carico che in precedenza le provocavano e il cluster regge i picchi di ingestion senza cicli di rientro. Dove la causa era il volume degli attributi, la pressione sulla memoria cala al punto da consentire di ridurre l'heap anziché aumentarlo.