Volver a todos los casos de uso

EvaluaciónMultisectorial

Descubra qué hace realmente su entorno de NiFi y qué debería dejar de hacer

Empresa tecnológica de ciencias de la vida

Evaluación de un entorno de NiFi en cuanto a margen de throughput, cobertura de provenance y auditoría, postura de seguridad y qué flujos deberían estar realmente en NiFi.

Descripción general

NiFi es muy bueno moviendo datos heterogéneos con gran diversidad de protocolos, y con frecuencia se usa para orquestación batch programada y transformaciones pesadas que otras herramientas resuelven mejor. AceMQ evalúa el entorno en cuanto a capacidad, postura de cumplimiento y adecuación de las cargas de trabajo, e indica qué flujos deberían trasladarse.

Reto

Los entornos crecen más allá de lo que nadie revisa. La retención de provenance puede ser demasiado corta para responder a las preguntas de auditoría que la organización está obligada a responder, TLS y la autorización pueden estar configurados de forma incoherente entre nodos, y el dimensionamiento de los repositorios puede no dejar margen ante una caída aguas abajo. Mientras tanto, flujos que en realidad son jobs batch programados con dependencias complejas siguen en NiFi, donde la semántica de dependencias y el comportamiento de los reintentos son más difíciles de razonar que en un scheduler.

Entorno

Clústeres e instancias independientes de Apache NiFi on-premises y en la nube, que ingieren datos de sistemas de campo, corporativos y de socios.

Enfoque

AceMQ perfila el throughput y el uso de los repositorios frente a la capacidad, revisa la configuración de seguridad y de provenance frente a las obligaciones de auditoría reales de la organización y clasifica cada flujo según si NiFi es el lugar adecuado para él. Los hallazgos incluyen una acción recomendada concreta para cada flujo en lugar de una evaluación general.

Solución

  1. Perfilado del throughput y del uso de los repositorios frente a la capacidad de los nodos, midiendo el margen ante escenarios de caída aguas abajo
  2. Revisión de la retención y la indexación de provenance frente a las preguntas de auditoría y linaje que la organización debe poder responder
  3. Revisión de la postura de seguridad en todos los nodos: TLS, autenticación, políticas de autorización y cifrado de propiedades sensibles
  4. Auditoría de la configuración de backpressure, priorización y balanceo de carga en todas las conexiones
  5. Clasificación de la adecuación de las cargas para identificar los flujos que estarían mejor en un scheduler o en un procesador de streams que en NiFi
  6. Revisión de la antigüedad de las versiones, la ruta de actualización y la exposición a CVE en toda la pila de NiFi y ZooKeeper

Resultado final

Los clientes obtienen una visión de la capacidad y el cumplimiento respaldada por datos medidos, además de una recomendación por flujo sobre qué se queda, qué se reestructura y qué se traslada a una herramienta más adecuada. Los hallazgos de seguridad suelen ser el resultado más urgente.

Tecnologías

Apache NiFiApache KafkaApache AirflowKubernetes

¿Preparado para un health check de Apache NiFi?

Los ingenieros sénior de Apache NiFi de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.