Voltar para todos os casos de uso

AvaliaçãoMultissetorial

Descubra o que o seu ambiente NiFi realmente está fazendo, e o que ele deveria parar de fazer

Empresa de tecnologia para ciências da vida

Avaliação de um ambiente NiFi quanto à folga de throughput, à cobertura de provenance e auditoria, à postura de segurança e a quais flows deveriam de fato estar no NiFi.

Visão geral

O NiFi é excelente na movimentação de dados heterogêneos e com protocolos diversos, e com frequência acaba sendo usado para orquestração de batches agendados e transformações pesadas que outras ferramentas fazem melhor. A AceMQ avalia o ambiente quanto à capacidade, à postura de conformidade e à adequação das cargas de trabalho, e indica quais flows devem ser migrados.

Desafio

Os ambientes crescem além do que alguém revisa. A retenção de provenance pode ser curta demais para responder às perguntas de auditoria que a organização é obrigada a responder, o TLS e a autorização podem estar configurados de forma inconsistente entre os nós e o dimensionamento dos repositórios pode não deixar folga para uma indisponibilidade downstream. Enquanto isso, flows que na verdade são jobs de batch agendados com dependências complexas ficam no NiFi, onde a semântica de dependências e o comportamento de retry são mais difíceis de entender do que em um scheduler.

Ambiente

Clusters e instâncias standalone do Apache NiFi on-premises e em nuvem, ingerindo dados de sistemas de campo, corporativos e de parceiros.

Abordagem

A AceMQ analisa o throughput e o uso dos repositórios em relação à capacidade, revisa a configuração de segurança e de provenance em relação às obrigações reais de auditoria da organização e classifica cada flow conforme o NiFi seja ou não o lugar certo para ele. Os achados vêm com uma ação específica recomendada para cada flow, em vez de uma avaliação genérica.

Solução

  1. Análise do throughput e do uso dos repositórios em relação à capacidade dos nós, com a folga medida para cenários de indisponibilidade downstream
  2. Revisão da retenção e da indexação de provenance em relação às perguntas de auditoria e de linhagem que a organização precisa conseguir responder
  3. Revisão da postura de segurança abrangendo TLS, autenticação, políticas de autorização e criptografia de propriedades sensíveis em todos os nós
  4. Auditoria da configuração de backpressure, priorização e balanceamento de carga em todas as conexões
  5. Classificação de adequação das cargas, identificando os flows que seriam mais bem atendidos por um scheduler ou por um processador de streams do que pelo NiFi
  6. Revisão da defasagem de versão, do caminho de upgrade e da exposição a CVEs em todo o stack de NiFi e ZooKeeper

Resultado obtido

Os clientes recebem um retrato de capacidade e conformidade apoiado em dados medidos, além de uma recomendação por flow sobre o que permanece, o que é reestruturado e o que migra para uma ferramenta mais adequada. Os achados de segurança costumam ser o resultado mais urgente.

Tecnologias

Apache NiFiApache KafkaApache AirflowKubernetes

Pronto para um health check do Apache NiFi?

Os engenheiros Apache NiFi sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.