Panoramica
NiFi conserva su disco il contenuto dei flowfile nel content repository, e le connessioni senza soglie di backpressure accodano all'infinito. Quando un processor a valle rallenta o si ferma, i processor a monte continuano a produrre e il repository cresce fino a riempire il volume: a quel punto il nodo non riesce più a scrivere nemmeno la provenance e di fatto si blocca. AceMQ ripristina il nodo e imposta i limiti che avrebbero dovuto esserci fin dall'inizio.
Sfida
La sequenza del guasto è sempre la stessa: un sistema di destinazione diventa irraggiungibile o lento, il suo processor smette di svuotare la coda in ingresso, i processor a monte continuano a produrre e le code delle connessioni crescono senza limiti perché le soglie di default non sono mai state adeguate. Il disco si riempie, il provenance repository non riesce più a scrivere e il nodo smette del tutto di elaborare. Il ripristino è delicato, perché cancellare a mano i file del repository corrompe lo stato dei flowfile, e il contenuto archiviato complica ulteriormente il quadro.
Ambiente
Cluster Apache NiFi on-premises o su VM in cloud con repository separati per flowfile, contenuti e provenance, con ingestion da sistemi di campo e aziendali.
Approccio
AceMQ recupera spazio su disco in sicurezza, tramite la scadenza dell'archivio dei contenuti e lo svuotamento controllato delle code anziché la cancellazione manuale dei file, quindi ripristina il nodo e il flow. Il lavoro duraturo consiste nell'impostare su ogni connessione soglie di backpressure per numero di oggetti e dimensione dei dati, aggiungere load balancing e prioritizzazione dove opportuno e separare i repository su volumi dedicati, così che il riempimento di uno non blocchi gli altri.
Soluzione
- Recupero sicuro dello spazio su disco tramite la scadenza dell'archivio dei contenuti e lo svuotamento controllato delle code, senza cancellare a mano i file del repository
- Soglie di backpressure per numero di oggetti e dimensione dei dati applicate a ogni connessione, dimensionate sul throughput a valle
- Impostazioni di archiviazione del content repository, periodo di retention e percentuale di utilizzo tarati sul volume disponibile
- Repository separati su volumi dedicati, così che la crescita dei contenuti non possa bloccare le scritture di provenance e flowfile
- Design del percorso di errore per i processor interessati, con instradamento verso un flow di retry o di parcheggio invece di un accodamento infinito
- Alert su utilizzo del disco, profondità delle code e backpressure, così che la condizione venga segnalata ben prima che il volume si riempia
Esito
I nodi interessati tornano in servizio senza perdita di flowfile, e con il backpressure a livello di connessione un disservizio a valle ora rallenta il flow invece di riempire il disco. Gli alert intercettano la condizione quando c'è ancora margine per intervenire.