Voltar para todos os casos de uso

ConsultoriaIndústria / manufatura

Transforme o canvas que ninguém quer mexer em flows que você consegue versionar e promover

Fabricante de automação industrial

Reestruturação de canvases do NiFi que cresceram sem controle em flows versionados, parametrizados e testáveis, com um caminho de promoção entre ambientes.

Visão geral

O canvas do NiFi facilita construir um flow, e também facilita construir um flow que ninguém consegue alterar com segurança. Endpoints fixos no código, ausência de limites entre process groups e falta de controle de versão produzem uma camada de integração em que toda mudança é uma mudança em produção. A AceMQ reestrutura o canvas em componentes versionados e parametrizados, com um caminho de promoção de verdade.

Desafio

Instalações maduras do NiFi costumam ter um único canvas com centenas de processors, credenciais e hostnames digitados diretamente nas propriedades dos processors, nenhuma separação entre ambientes e mudanças feitas ao vivo em produção porque não existe outro ambiente. Ninguém sabe quais partes do canvas ainda estão ativas. Reproduzir um problema de produção em outro lugar é impossível, e um arrastar equivocado no canvas pode parar um caminho de ingestão.

Ambiente

Clusters Apache NiFi integrando dispositivos de campo, sistemas corporativos, Kafka e armazenamento de objetos em ambientes on-premises e em nuvem.

Abordagem

A AceMQ decompõe o canvas em process groups alinhados aos caminhos lógicos de integração, extrai os valores específicos de cada ambiente para parameter contexts e move as credenciais para parameter providers apoiados em um cofre de segredos de verdade. Os flows passam a ficar sob controle de versão no NiFi Registry, com um caminho de promoção entre ambientes, e os caminhos inativos são identificados e desativados.

Solução

  1. Decomposição do canvas em process groups alinhados aos caminhos lógicos de integração, com responsáveis definidos
  2. Extração de parameter contexts para que endpoints, caminhos e valores de ajuste deixem de ficar fixos nas propriedades dos processors
  3. Migração das credenciais para parameter providers apoiados em um cofre de segredos, eliminando valores em texto puro da definição do flow
  4. Controle de versão no NiFi Registry com um caminho de promoção definido entre desenvolvimento, teste e produção
  5. Identificação de flows inativos a partir dos dados de provenance, com desativação dos caminhos que não carregam mais tráfego
  6. Templates de flow reutilizáveis e convenções de nomenclatura para que novas integrações sigam a estrutura em vez de aumentar a desordem

Resultado obtido

As mudanças nos flows passam por um caminho de promoção, em vez de serem feitas ao vivo em produção, e as diferenças entre ambientes viram valores de parâmetros, e não canvases separados. A desativação dos caminhos inativos normalmente elimina uma parcela significativa dos processors do canvas.

Tecnologias

Apache NiFiNiFi RegistryApache KafkaKubernetes

Precisa de orientação de arquitetura para Apache NiFi?

Os engenheiros Apache NiFi sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.