Volver a todos los casos de uso

ConsultoríaIndustria / Manufactura

Convierta el canvas que nadie quiere tocar en flujos que pueda versionar y promover

Fabricante de automatización industrial

Reestructuración de canvases de NiFi desbordados en flujos versionados, parametrizados y testeables, con una ruta de promoción entre entornos.

Descripción general

El canvas de NiFi facilita construir un flujo, y también construir un flujo que nadie puede cambiar con seguridad. Endpoints hardcodeados, ausencia de límites entre process groups y falta de control de versiones dan como resultado una capa de integración en la que cada cambio es un cambio en producción. AceMQ reestructura el canvas en componentes versionados y parametrizados con una ruta de promoción real.

Desafío

Las instalaciones maduras de NiFi suelen tener un único canvas con cientos de processors, credenciales y hostnames escritos directamente en las propiedades de los processors, sin separación entre entornos y con cambios hechos en vivo en producción porque no existe otro entorno. Nadie sabe qué partes del canvas siguen activas. Reproducir un problema de producción en otro lugar es imposible, y un arrastre equivocado en el canvas puede detener una ruta de ingesta.

Entorno

Clústeres de Apache NiFi que integran dispositivos de campo, sistemas empresariales, Kafka y almacenamiento de objetos en entornos on-premise y en la nube.

Enfoque

AceMQ descompone el canvas en process groups alineados con las rutas lógicas de integración, extrae los valores específicos de cada entorno a parameter contexts y traslada las credenciales a parameter providers respaldados por un verdadero almacén de secretos. Los flujos quedan bajo control de versiones con NiFi Registry, con una ruta de promoción entre entornos, y las rutas inactivas se identifican y se retiran.

Solución

  1. Descomposición del canvas en process groups alineados con las rutas lógicas de integración, con responsables definidos
  2. Extracción a parameter contexts para que los endpoints, las rutas y los valores de ajuste dejen de estar hardcodeados en las propiedades de los processors
  3. Migración de credenciales a parameter providers respaldados por un almacén de secretos, eliminando los valores en texto plano de la definición del flujo
  4. Control de versiones con NiFi Registry y una ruta de promoción definida entre desarrollo, pruebas y producción
  5. Identificación de flujos inactivos a partir de los datos de provenance, con retiro de las rutas que ya no transportan tráfico
  6. Plantillas de flujo reutilizables y convenciones de nombres, para que las nuevas integraciones sigan la estructura en lugar de ampliar el desorden

Resultado final

Los cambios en los flujos pasan por una ruta de promoción en lugar de hacerse en vivo en producción, y las diferencias entre entornos se convierten en valores de parámetros en lugar de canvases separados. El retiro de las rutas inactivas suele eliminar una parte importante de los processors del canvas.

Tecnologías

Apache NiFiNiFi RegistryApache KafkaKubernetes

¿Necesita orientación de arquitectura para Apache NiFi?

Los ingenieros sénior de Apache NiFi de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.