Panoramica
Il canvas di NiFi rende facile costruire un flow, e altrettanto facile costruirne uno che nessuno può modificare in sicurezza. Endpoint hardcoded, nessun confine tra process group e nessun controllo di versione producono un livello di integrazione in cui ogni modifica è una modifica in produzione. AceMQ riorganizza il canvas in componenti versionati e parametrizzati, con un vero percorso di promozione.
Sfida
Le installazioni NiFi mature hanno spesso un unico canvas con centinaia di processor, credenziali e hostname digitati direttamente nelle proprietà dei processor, nessuna separazione tra ambienti e modifiche fatte live in produzione perché non esiste un altro ambiente. Nessuno sa quali parti del canvas siano ancora attive. Riprodurre altrove un problema di produzione è impossibile, e un trascinamento sbagliato sul canvas può interrompere un percorso di ingestion.
Ambiente
Cluster Apache NiFi che integrano dispositivi di campo, sistemi aziendali, Kafka e object storage tra ambienti on-premises e cloud.
Approccio
AceMQ scompone il canvas in process group allineati ai percorsi logici di integrazione, estrae i valori specifici di ciascun ambiente in parameter context e sposta le credenziali in parameter provider appoggiati a un vero secrets store. I flow vengono messi sotto controllo di versione con NiFi Registry, con un percorso di promozione tra gli ambienti, e i percorsi inattivi vengono individuati e dismessi.
Soluzione
- Scomposizione del canvas in process group allineati ai percorsi logici di integrazione, con ownership definita
- Estrazione in parameter context, così che endpoint, percorsi e valori di tuning non siano più hardcoded nelle proprietà dei processor
- Migrazione delle credenziali in parameter provider appoggiati a un secrets store, eliminando i valori in chiaro dalla definizione del flow
- Controllo di versione con NiFi Registry e un percorso di promozione definito tra sviluppo, test e produzione
- Individuazione dei flow inattivi a partire dai dati di provenance, con dismissione dei percorsi che non trasportano più traffico
- Template di flow riutilizzabili e convenzioni di naming, così che le nuove integrazioni seguano la struttura invece di allargare il disordine
Esito
Le modifiche ai flow passano attraverso un percorso di promozione anziché essere applicate live in produzione, e le differenze tra ambienti diventano valori di parametri anziché canvas separati. La dismissione dei percorsi inattivi elimina tipicamente una quota significativa dei processor presenti sul canvas.