Visão geral
O NiFi é excelente na movimentação de dados heterogêneos e com protocolos diversos, e com frequência acaba sendo usado para orquestração de batches agendados e transformações pesadas que outras ferramentas fazem melhor. A AceMQ avalia o ambiente quanto à capacidade, à postura de conformidade e à adequação das cargas de trabalho, e indica quais flows devem ser migrados.
Desafio
Os ambientes crescem além do que alguém revisa. A retenção de provenance pode ser curta demais para responder às perguntas de auditoria que a organização é obrigada a responder, o TLS e a autorização podem estar configurados de forma inconsistente entre os nós e o dimensionamento dos repositórios pode não deixar folga para uma indisponibilidade downstream. Enquanto isso, flows que na verdade são jobs de batch agendados com dependências complexas ficam no NiFi, onde a semântica de dependências e o comportamento de retry são mais difíceis de entender do que em um scheduler.
Ambiente
Clusters e instâncias standalone do Apache NiFi on-premises e em nuvem, ingerindo dados de sistemas de campo, corporativos e de parceiros.
Abordagem
A AceMQ analisa o throughput e o uso dos repositórios em relação à capacidade, revisa a configuração de segurança e de provenance em relação às obrigações reais de auditoria da organização e classifica cada flow conforme o NiFi seja ou não o lugar certo para ele. Os achados vêm com uma ação específica recomendada para cada flow, em vez de uma avaliação genérica.
Solução
- Análise do throughput e do uso dos repositórios em relação à capacidade dos nós, com a folga medida para cenários de indisponibilidade downstream
- Revisão da retenção e da indexação de provenance em relação às perguntas de auditoria e de linhagem que a organização precisa conseguir responder
- Revisão da postura de segurança abrangendo TLS, autenticação, políticas de autorização e criptografia de propriedades sensíveis em todos os nós
- Auditoria da configuração de backpressure, priorização e balanceamento de carga em todas as conexões
- Classificação de adequação das cargas, identificando os flows que seriam mais bem atendidos por um scheduler ou por um processador de streams do que pelo NiFi
- Revisão da defasagem de versão, do caminho de upgrade e da exposição a CVEs em todo o stack de NiFi e ZooKeeper
Resultado obtido
Os clientes recebem um retrato de capacidade e conformidade apoiado em dados medidos, além de uma recomendação por flow sobre o que permanece, o que é reestruturado e o que migra para uma ferramenta mais adequada. Os achados de segurança costumam ser o resultado mais urgente.