Descripción general
Un nodo de NiFi que no envía sus heartbeats a tiempo es desconectado por el coordinador del clúster y, bajo una carga sostenida, el ciclo de desconexión y reincorporación puede repetirse hasta dejar el flujo prácticamente inservible. La red rara vez es la causa. AceMQ diagnostica el desencadenante real y estabiliza el clúster.
Reto
Las pausas largas de recolección de basura son la causa más habitual: un heap dimensionado sin tener en cuenta el volumen de atributos de los flowfiles, o processors que mantienen grandes mapas de atributos en memoria, producen pausas de GC completas más largas que el intervalo de heartbeat. Otros desencadenantes son los timeouts de sesión de ZooKeeper por contención de E/S y los fallos de sincronización del flujo cuando un nodo vuelve a unirse con una definición de flujo divergente. Los tres se presentan igual en la interfaz, y cada uno se corrige de forma distinta.
Entorno
Clústeres de Apache NiFi con ZooKeeper embebido o externo, en máquinas virtuales on-premises o en la nube, con flujos de ingesta de gran volumen.
Enfoque
Los ingenieros de AceMQ correlacionan los logs de GC, los tiempos de heartbeat y los eventos de sesión de ZooKeeper con las marcas de tiempo de las desconexiones para establecer cuál de los tres es realmente el responsable. La estabilización inmediata ajusta el heap, el recolector de basura y los valores de timeout; la corrección duradera ataca el diseño del flujo o el volumen de atributos que alargaba las pausas desde el principio.
Solución
- Objetivos de respuesta desde 15 minutos, según el plan, con ingenieros sénior asignados, 24/7, sin triaje de nivel 1
- Correlación de los logs de GC, los heartbeats y las sesiones de ZooKeeper con los eventos de desconexión para identificar el desencadenante real
- Dimensionamiento del heap y configuración del recolector de basura ajustados al volumen de atributos de los flowfiles y al número de processors concurrentes
- Ajuste del intervalo de heartbeat del clúster y del timeout de sesión de ZooKeeper con margen sobre la duración de las pausas observadas
- Revisión del flujo en busca de processors que mantienen atributos grandes en memoria, trasladando los datos del payload al contenido en lugar de a los atributos
- Procedimientos de sincronización del flujo y de reincorporación de nodos ante definiciones de flujo divergentes tras un reinicio fallido del clúster
Resultado final
Las desconexiones de nodos cesan con los niveles de carga que antes las provocaban, y el clúster soporta los picos de ingesta sin ciclos de reincorporación. Cuando la causa era el volumen de atributos, la presión de memoria baja lo suficiente como para poder reducir el heap en lugar de aumentarlo.