Descripción general
El canvas de NiFi hace fácil construir un flujo y también construir un flujo que nadie puede cambiar con seguridad. Los endpoints codificados a mano, la ausencia de límites entre process groups y la falta de control de versiones dan lugar a una capa de integración en la que cada cambio es un cambio en producción. AceMQ reestructura el canvas en componentes versionados y parametrizados con una ruta de promoción real.
Reto
Las instalaciones maduras de NiFi suelen tener un único canvas con cientos de procesadores, credenciales y nombres de host escritos directamente en las propiedades de los procesadores, ninguna separación entre entornos y cambios hechos en vivo en producción porque no existe otro entorno. Nadie sabe qué partes del canvas siguen activas. Reproducir un problema de producción en otro sitio es imposible, y un arrastre equivocado en el canvas puede detener una ruta de ingesta.
Entorno
Clústeres de Apache NiFi que integran dispositivos de campo, sistemas empresariales, Kafka y almacenamiento de objetos en entornos on-premise y en la nube.
Enfoque
AceMQ descompone el canvas en process groups alineados con las rutas lógicas de integración, extrae los valores específicos de cada entorno a parameter contexts y traslada las credenciales a parameter providers respaldados por un almacén de secretos real. Los flujos pasan a estar bajo control de versiones en NiFi Registry con una ruta de promoción entre entornos, y las rutas inactivas se identifican y se retiran.
Solución
- Descomposición del canvas en process groups alineados con las rutas lógicas de integración y con responsables definidos
- Extracción a parameter contexts para que los endpoints, las rutas y los valores de ajuste dejen de estar codificados en las propiedades de los procesadores
- Migración de las credenciales a parameter providers respaldados por un almacén de secretos, eliminando los valores en texto plano de la definición del flujo
- Control de versiones con NiFi Registry y una ruta de promoción definida entre desarrollo, pruebas y producción
- Identificación de los flujos inactivos a partir de los datos de provenance y retirada de las rutas que ya no transportan tráfico
- Plantillas de flujo reutilizables y convenciones de nomenclatura para que las nuevas integraciones sigan la estructura en lugar de ampliar el desorden
Resultado final
Los cambios en los flujos pasan por una ruta de promoción en lugar de hacerse en vivo en producción, y las diferencias entre entornos se convierten en valores de parámetros y no en canvas separados. La retirada de las rutas inactivas suele eliminar una parte significativa de los procesadores del canvas.