Volver a todos los casos de uso

RemediaciónEnergía / Servicios públicos

Sin umbrales de backpressure, NiFi llena el disco sin ningún problema

Operador regional de servicios públicos

Recuperación de nodos de NiFi cuyo content repository se llenó porque un processor aguas abajo con contrapresión no tenía límites de cola por delante.

Descripción general

NiFi guarda el contenido de los flowfiles en disco, en el content repository, y las conexiones sin umbrales de backpressure encolan de forma indefinida. Cuando un processor aguas abajo se vuelve lento o se detiene, los processors aguas arriba siguen produciendo y el repositorio crece hasta llenar el volumen; en ese punto el nodo tampoco puede escribir la provenance y, en la práctica, se detiene. AceMQ recupera el nodo y configura los límites que deberían haber estado desde el principio.

Desafío

La secuencia de la falla es siempre la misma: un sistema de destino deja de estar disponible o se vuelve lento, su processor deja de vaciar la cola de entrada, los processors aguas arriba siguen produciendo y las colas de las conexiones crecen sin límite porque nunca se ajustaron los umbrales predeterminados. El disco se llena, el provenance repository ya no puede escribir y el nodo deja de procesar por completo. La recuperación es delicada porque borrar a mano los archivos del repositorio corrompe el estado de los flowfiles, y el contenido archivado complica aún más el panorama.

Entorno

Clústeres de Apache NiFi on-premises o en máquinas virtuales en la nube, con flowfile, content y provenance repositories separados, que ingieren datos de sistemas de campo y empresariales.

Enfoque

AceMQ recupera espacio en disco de forma segura, mediante la expiración del archivo de contenido y el vaciado controlado de las colas en lugar del borrado manual de archivos, y luego restablece el nodo y el flujo. El trabajo de fondo consiste en configurar umbrales de backpressure por cantidad de objetos y por tamaño de datos en cada conexión, agregar balanceo de carga y priorización donde corresponda y separar los repositorios en volúmenes propios para que, si uno se llena, no detenga a los demás.

Solución

  1. Recuperación segura del disco mediante la expiración del archivo de contenido y el vaciado controlado de las colas, sin borrar a mano archivos del repositorio
  2. Umbrales de backpressure por cantidad de objetos y por tamaño de datos aplicados a cada conexión, dimensionados según el throughput aguas abajo
  3. Ajuste de la configuración de archivado, el período de retención y el porcentaje de uso del content repository según el volumen disponible
  4. Separación de los repositorios en volúmenes dedicados para que el crecimiento del contenido no pueda detener las escrituras de provenance y de flowfiles
  5. Diseño de la ruta de falla de los processors afectados, con enrutamiento hacia un flujo de reintento o de retención en lugar de encolar de forma indefinida
  6. Alertas de uso de disco, profundidad de colas y backpressure para que la condición dispare una alarma mucho antes de que se llene el volumen

Resultado final

Los nodos afectados vuelven a estar en servicio sin pérdida de flowfiles, y gracias al backpressure a nivel de conexión, una caída aguas abajo ahora ralentiza el flujo en lugar de llenar el disco. Las alertas detectan la condición mientras todavía hay margen para actuar.

Tecnologías

Apache NiFiApache KafkaApache Hadoop

¿Enfrenta un problema de Apache NiFi en producción?

Los ingenieros sénior de Apache NiFi de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.