Torna a tutti i casi d'uso

RemediationEnergia / Utility

Senza soglie di backpressure, NiFi riempie il disco senza battere ciglio

Operatore regionale di servizi di pubblica utilità

Ripristino di nodi NiFi in cui il content repository si è riempito perché davanti a un processor a valle in backpressure non c'erano limiti di coda.

Panoramica

NiFi conserva su disco il contenuto dei flowfile nel content repository, e le connessioni senza soglie di backpressure accodano all'infinito. Quando un processor a valle rallenta o si ferma, i processor a monte continuano a produrre e il repository cresce fino a riempire il volume: a quel punto il nodo non riesce più a scrivere nemmeno la provenance e di fatto si blocca. AceMQ ripristina il nodo e imposta i limiti che avrebbero dovuto esserci fin dall'inizio.

Sfida

La sequenza del guasto è sempre la stessa: un sistema di destinazione diventa irraggiungibile o lento, il suo processor smette di svuotare la coda in ingresso, i processor a monte continuano a produrre e le code delle connessioni crescono senza limiti perché le soglie di default non sono mai state adeguate. Il disco si riempie, il provenance repository non riesce più a scrivere e il nodo smette del tutto di elaborare. Il ripristino è delicato, perché cancellare a mano i file del repository corrompe lo stato dei flowfile, e il contenuto archiviato complica ulteriormente il quadro.

Ambiente

Cluster Apache NiFi on-premises o su VM in cloud con repository separati per flowfile, contenuti e provenance, con ingestion da sistemi di campo e aziendali.

Approccio

AceMQ recupera spazio su disco in sicurezza, tramite la scadenza dell'archivio dei contenuti e lo svuotamento controllato delle code anziché la cancellazione manuale dei file, quindi ripristina il nodo e il flow. Il lavoro duraturo consiste nell'impostare su ogni connessione soglie di backpressure per numero di oggetti e dimensione dei dati, aggiungere load balancing e prioritizzazione dove opportuno e separare i repository su volumi dedicati, così che il riempimento di uno non blocchi gli altri.

Soluzione

  1. Recupero sicuro dello spazio su disco tramite la scadenza dell'archivio dei contenuti e lo svuotamento controllato delle code, senza cancellare a mano i file del repository
  2. Soglie di backpressure per numero di oggetti e dimensione dei dati applicate a ogni connessione, dimensionate sul throughput a valle
  3. Impostazioni di archiviazione del content repository, periodo di retention e percentuale di utilizzo tarati sul volume disponibile
  4. Repository separati su volumi dedicati, così che la crescita dei contenuti non possa bloccare le scritture di provenance e flowfile
  5. Design del percorso di errore per i processor interessati, con instradamento verso un flow di retry o di parcheggio invece di un accodamento infinito
  6. Alert su utilizzo del disco, profondità delle code e backpressure, così che la condizione venga segnalata ben prima che il volume si riempia

Esito

I nodi interessati tornano in servizio senza perdita di flowfile, e con il backpressure a livello di connessione un disservizio a valle ora rallenta il flow invece di riempire il disco. Gli alert intercettano la condizione quando c'è ancora margine per intervenire.

Tecnologie

Apache NiFiApache KafkaApache Hadoop

Avete un problema di produzione su Apache NiFi?

Gli ingegneri Apache NiFi senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.