Volver a todos los casos de uso

SoporteAdministración pública / Defensa

Los nodos se caen bajo carga, vuelven a unirse y se vuelven a caer: normalmente es el GC, no la red

Organismo del sector público

Resolución de las desconexiones de nodos de un clúster de NiFi bajo carga debidas a timeouts de heartbeat, pausas de GC y fallos de coordinación de ZooKeeper.

Descripción general

Un nodo de NiFi que no envía sus heartbeats a tiempo es desconectado por el coordinador del clúster y, bajo una carga sostenida, el ciclo de desconexión y reincorporación puede repetirse hasta dejar el flujo prácticamente inservible. La red rara vez es la causa. AceMQ diagnostica el desencadenante real y estabiliza el clúster.

Reto

Las pausas largas de recolección de basura son la causa más habitual: un heap dimensionado sin tener en cuenta el volumen de atributos de los flowfiles, o processors que mantienen grandes mapas de atributos en memoria, producen pausas de GC completas más largas que el intervalo de heartbeat. Otros desencadenantes son los timeouts de sesión de ZooKeeper por contención de E/S y los fallos de sincronización del flujo cuando un nodo vuelve a unirse con una definición de flujo divergente. Los tres se presentan igual en la interfaz, y cada uno se corrige de forma distinta.

Entorno

Clústeres de Apache NiFi con ZooKeeper embebido o externo, en máquinas virtuales on-premises o en la nube, con flujos de ingesta de gran volumen.

Enfoque

Los ingenieros de AceMQ correlacionan los logs de GC, los tiempos de heartbeat y los eventos de sesión de ZooKeeper con las marcas de tiempo de las desconexiones para establecer cuál de los tres es realmente el responsable. La estabilización inmediata ajusta el heap, el recolector de basura y los valores de timeout; la corrección duradera ataca el diseño del flujo o el volumen de atributos que alargaba las pausas desde el principio.

Solución

  1. Objetivos de respuesta desde 15 minutos, según el plan, con ingenieros sénior asignados, 24/7, sin triaje de nivel 1
  2. Correlación de los logs de GC, los heartbeats y las sesiones de ZooKeeper con los eventos de desconexión para identificar el desencadenante real
  3. Dimensionamiento del heap y configuración del recolector de basura ajustados al volumen de atributos de los flowfiles y al número de processors concurrentes
  4. Ajuste del intervalo de heartbeat del clúster y del timeout de sesión de ZooKeeper con margen sobre la duración de las pausas observadas
  5. Revisión del flujo en busca de processors que mantienen atributos grandes en memoria, trasladando los datos del payload al contenido en lugar de a los atributos
  6. Procedimientos de sincronización del flujo y de reincorporación de nodos ante definiciones de flujo divergentes tras un reinicio fallido del clúster

Resultado final

Las desconexiones de nodos cesan con los niveles de carga que antes las provocaban, y el clúster soporta los picos de ingesta sin ciclos de reincorporación. Cuando la causa era el volumen de atributos, la presión de memoria baja lo suficiente como para poder reducir el heap en lugar de aumentarlo.

Tecnologías

Apache NiFiZooKeeperApache Kafka

¿Necesita soporte experto de Apache NiFi?

Los ingenieros sénior de Apache NiFi de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.