Descripción general
NiFi guarda el contenido de los flowfiles en disco, en el content repository, y las conexiones sin umbrales de backpressure encolan de forma indefinida. Cuando un processor aguas abajo se vuelve lento o se detiene, los processors aguas arriba siguen produciendo y el repositorio crece hasta llenar el volumen; en ese punto el nodo tampoco puede escribir la provenance y, en la práctica, se detiene. AceMQ recupera el nodo y configura los límites que deberían haber estado desde el principio.
Desafío
La secuencia de la falla es siempre la misma: un sistema de destino deja de estar disponible o se vuelve lento, su processor deja de vaciar la cola de entrada, los processors aguas arriba siguen produciendo y las colas de las conexiones crecen sin límite porque nunca se ajustaron los umbrales predeterminados. El disco se llena, el provenance repository ya no puede escribir y el nodo deja de procesar por completo. La recuperación es delicada porque borrar a mano los archivos del repositorio corrompe el estado de los flowfiles, y el contenido archivado complica aún más el panorama.
Entorno
Clústeres de Apache NiFi on-premises o en máquinas virtuales en la nube, con flowfile, content y provenance repositories separados, que ingieren datos de sistemas de campo y empresariales.
Enfoque
AceMQ recupera espacio en disco de forma segura, mediante la expiración del archivo de contenido y el vaciado controlado de las colas en lugar del borrado manual de archivos, y luego restablece el nodo y el flujo. El trabajo de fondo consiste en configurar umbrales de backpressure por cantidad de objetos y por tamaño de datos en cada conexión, agregar balanceo de carga y priorización donde corresponda y separar los repositorios en volúmenes propios para que, si uno se llena, no detenga a los demás.
Solución
- Recuperación segura del disco mediante la expiración del archivo de contenido y el vaciado controlado de las colas, sin borrar a mano archivos del repositorio
- Umbrales de backpressure por cantidad de objetos y por tamaño de datos aplicados a cada conexión, dimensionados según el throughput aguas abajo
- Ajuste de la configuración de archivado, el período de retención y el porcentaje de uso del content repository según el volumen disponible
- Separación de los repositorios en volúmenes dedicados para que el crecimiento del contenido no pueda detener las escrituras de provenance y de flowfiles
- Diseño de la ruta de falla de los processors afectados, con enrutamiento hacia un flujo de reintento o de retención en lugar de encolar de forma indefinida
- Alertas de uso de disco, profundidad de colas y backpressure para que la condición dispare una alarma mucho antes de que se llene el volumen
Resultado final
Los nodos afectados vuelven a estar en servicio sin pérdida de flowfiles, y gracias al backpressure a nivel de conexión, una caída aguas abajo ahora ralentiza el flujo en lugar de llenar el disco. Las alertas detectan la condición mientras todavía hay margen para actuar.