Visão geral
O canvas do NiFi facilita construir um flow, e também facilita construir um flow que ninguém consegue alterar com segurança. Endpoints fixos no código, ausência de limites entre process groups e falta de controle de versão produzem uma camada de integração em que toda mudança é uma mudança em produção. A AceMQ reestrutura o canvas em componentes versionados e parametrizados, com um caminho de promoção de verdade.
Desafio
Instalações maduras do NiFi costumam ter um único canvas com centenas de processors, credenciais e hostnames digitados diretamente nas propriedades dos processors, nenhuma separação entre ambientes e mudanças feitas ao vivo em produção porque não existe outro ambiente. Ninguém sabe quais partes do canvas ainda estão ativas. Reproduzir um problema de produção em outro lugar é impossível, e um arrastar equivocado no canvas pode parar um caminho de ingestão.
Ambiente
Clusters Apache NiFi integrando dispositivos de campo, sistemas corporativos, Kafka e armazenamento de objetos em ambientes on-premises e em nuvem.
Abordagem
A AceMQ decompõe o canvas em process groups alinhados aos caminhos lógicos de integração, extrai os valores específicos de cada ambiente para parameter contexts e move as credenciais para parameter providers apoiados em um cofre de segredos de verdade. Os flows passam a ficar sob controle de versão no NiFi Registry, com um caminho de promoção entre ambientes, e os caminhos inativos são identificados e desativados.
Solução
- Decomposição do canvas em process groups alinhados aos caminhos lógicos de integração, com responsáveis definidos
- Extração de parameter contexts para que endpoints, caminhos e valores de ajuste deixem de ficar fixos nas propriedades dos processors
- Migração das credenciais para parameter providers apoiados em um cofre de segredos, eliminando valores em texto puro da definição do flow
- Controle de versão no NiFi Registry com um caminho de promoção definido entre desenvolvimento, teste e produção
- Identificação de flows inativos a partir dos dados de provenance, com desativação dos caminhos que não carregam mais tráfego
- Templates de flow reutilizáveis e convenções de nomenclatura para que novas integrações sigam a estrutura em vez de aumentar a desordem
Resultado obtido
As mudanças nos flows passam por um caminho de promoção, em vez de serem feitas ao vivo em produção, e as diferenças entre ambientes viram valores de parâmetros, e não canvases separados. A desativação dos caminhos inativos normalmente elimina uma parcela significativa dos processors do canvas.