Volver a todos los casos de uso

SoporteGobierno / Defensa

Los nodos se caen bajo carga, se reincorporan y vuelven a caerse; casi siempre es el GC, no la red

Agencia del sector público

Resolución de desconexiones de nodos de un clúster de NiFi bajo carga por timeouts de heartbeat, pausas de GC y fallas de coordinación de ZooKeeper.

Descripción general

Un nodo de NiFi que pierde heartbeats queda desconectado por el cluster coordinator y, bajo carga sostenida, el ciclo de desconexión y reincorporación puede repetirse hasta que el flujo queda prácticamente inutilizable. La red rara vez es la causa. AceMQ diagnostica el desencadenante real y estabiliza el clúster.

Desafío

Las pausas prolongadas de garbage collection son la causa más común: un heap dimensionado sin tener en cuenta el volumen de atributos de los flowfiles, o processors que mantienen grandes mapas de atributos en memoria, producen pausas de GC completas más largas que el intervalo de heartbeat. Otros desencadenantes son los timeouts de sesión de ZooKeeper por contención de I/O y las fallas de sincronización del flujo cuando un nodo se reincorpora con una definición de flujo divergente. Las tres se presentan igual en la UI, y cada una se corrige de forma distinta.

Entorno

Clústeres de Apache NiFi con ZooKeeper embebido o externo, en máquinas virtuales on-premises o en la nube, que ejecutan flujos de ingesta de alto volumen.

Enfoque

Los ingenieros de AceMQ correlacionan los logs de GC, los tiempos de heartbeat y los eventos de sesión de ZooKeeper con las marcas de tiempo de las desconexiones para establecer cuál de las tres causas es realmente la responsable. La estabilización inmediata ajusta el heap, el recolector de GC y los valores de timeout; la corrección duradera ataca el diseño del flujo o el volumen de atributos que hacía que las pausas fueran largas en primer lugar.

Solución

  1. Objetivos de respuesta desde 15 minutos, según el plan, con ingenieros sénior asignados, 24/7, sin triaje de nivel 1
  2. Correlación de los logs de GC, los heartbeats y las sesiones de ZooKeeper con los eventos de desconexión para identificar el desencadenante real
  3. Dimensionamiento del heap y configuración del garbage collector según el volumen de atributos de los flowfiles y la cantidad de processors concurrentes
  4. Ajuste del intervalo de heartbeat del clúster y del timeout de sesión de ZooKeeper con margen por encima de la duración de pausa observada
  5. Revisión del flujo en busca de processors que mantienen atributos grandes en memoria, trasladando los datos del payload al contenido en lugar de a los atributos
  6. Procedimientos de sincronización del flujo y de reincorporación de nodos para definiciones de flujo divergentes tras un reinicio fallido del clúster

Resultado final

Las desconexiones de nodos se detienen con los niveles de carga que antes las provocaban, y el clúster soporta los picos de ingesta sin un ciclo de reincorporación. Cuando la causa era el volumen de atributos, la presión de memoria baja lo suficiente como para poder reducir el heap en lugar de aumentarlo.

Tecnologías

Apache NiFiZooKeeperApache Kafka

¿Necesita soporte experto de Apache NiFi?

Los ingenieros sénior de Apache NiFi de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.