Descripción general
NiFi guarda el contenido de los flowfiles en disco, en el content repository, y las conexiones sin umbrales de backpressure encolan de forma indefinida. Cuando un procesador posterior se ralentiza o se detiene, los procesadores anteriores siguen produciendo y el repositorio crece hasta que el volumen se llena; en ese momento el nodo tampoco puede escribir la provenance y, en la práctica, se detiene. AceMQ recupera el nodo y establece los límites que deberían haber existido.
Reto
La secuencia del fallo es siempre la misma: un sistema de destino deja de estar disponible o se ralentiza, su procesador deja de vaciar su cola de entrada, los procesadores anteriores siguen produciendo y las colas de las conexiones crecen sin límite porque nunca se ajustaron los umbrales por defecto. El disco se llena, el provenance repository ya no puede escribir y el nodo deja de procesar por completo. La recuperación es delicada, porque borrar a mano ficheros del repositorio corrompe el estado de los flowfiles y el contenido archivado complica la situación.
Entorno
Clústeres de Apache NiFi on-premise o en máquinas virtuales en la nube, con repositorios separados de flowfiles, contenido y provenance, que ingieren datos de sistemas de campo y empresariales.
Enfoque
AceMQ recupera espacio en disco de forma segura (mediante la expiración del archivo de contenido y el vaciado controlado de las colas, no borrando ficheros a mano) y después restablece el nodo y el flujo. El trabajo duradero consiste en fijar umbrales de backpressure por número de objetos y por tamaño de datos en todas las conexiones, añadir balanceo de carga y priorización donde proceda y separar los repositorios en volúmenes propios para que el llenado de uno no detenga a los demás.
Solución
- Recuperación segura del disco mediante la expiración del archivo de contenido y el vaciado controlado de las colas, sin borrar a mano ficheros del repositorio
- Umbrales de backpressure por número de objetos y tamaño de datos en todas las conexiones, dimensionados según el rendimiento de los sistemas posteriores
- Ajuste de la configuración de archivo, el periodo de retención y el porcentaje de uso del content repository según el volumen disponible
- Separación de los repositorios en volúmenes dedicados para que el crecimiento del contenido no pueda detener las escrituras de provenance y de flowfiles
- Diseño de rutas de fallo para los procesadores afectados, que envían a un flujo de reintento o de retención en lugar de encolar indefinidamente
- Alertas de uso de disco, profundidad de las colas y backpressure para que la situación genere una alarma mucho antes de que se llene el volumen
Resultado final
Los nodos afectados vuelven a estar en servicio sin pérdida de flowfiles, y el backpressure en cada conexión hace que una caída de un sistema posterior ralentice ahora el flujo en lugar de llenar el disco. Las alertas detectan la situación cuando todavía hay margen para actuar.