Voltar para todos os casos de uso

SuporteGoverno / defesa

Nós caem sob carga, voltam ao cluster e caem de novo — geralmente é o GC, não a rede

Órgão do setor público

Resolução de nós que se desconectam de um cluster NiFi sob carga devido a timeouts de heartbeat, pausas de GC e falhas de coordenação do ZooKeeper.

Visão geral

Um nó do NiFi que perde heartbeats é desconectado pelo coordenador do cluster e, sob carga contínua, o ciclo de desconexão e reconexão pode se repetir até que o flow fique, na prática, indisponível. A rede raramente é a causa. A AceMQ diagnostica o gatilho real e estabiliza o cluster.

Desafio

Pausas longas de garbage collection são a causa mais comum: um heap dimensionado sem considerar o volume de atributos dos flowfiles, ou processors que mantêm grandes mapas de atributos em memória, geram pausas de full GC mais longas que o intervalo de heartbeat. Outros gatilhos incluem timeouts de sessão do ZooKeeper sob contenção de I/O e falhas de sincronização do flow depois que um nó volta ao cluster com uma definição de flow divergente. Os três aparecem da mesma forma na interface, e cada um se corrige de um jeito diferente.

Ambiente

Clusters Apache NiFi com ZooKeeper embutido ou externo, em VMs on-premises ou na nuvem, executando flows de ingestão de alto volume.

Abordagem

Os engenheiros da AceMQ correlacionam os logs de GC, os tempos de heartbeat e os eventos de sessão do ZooKeeper com os horários das desconexões para determinar qual dos três é realmente o responsável. A estabilização imediata ajusta o heap, o coletor de GC e os valores de timeout; a correção definitiva ataca o design do flow ou o volume de atributos que tornava as pausas longas desde o início.

Solução

  1. Metas de resposta a partir de 15 minutos, conforme o plano, com engenheiros sêniores designados, 24/7, sem triagem de nível 1
  2. Correlação de logs de GC, heartbeats e sessões do ZooKeeper com os eventos de desconexão para identificar o gatilho real
  3. Dimensionamento do heap e configuração do garbage collector de acordo com o volume de atributos dos flowfiles e o número de processors simultâneos
  4. Ajuste do intervalo de heartbeat do cluster e do timeout de sessão do ZooKeeper com folga sobre a duração das pausas observadas
  5. Revisão do flow em busca de processors que mantêm atributos grandes em memória, movendo os dados de payload para o conteúdo em vez dos atributos
  6. Procedimentos de sincronização do flow e de reconexão de nós para definições de flow divergentes após uma reinicialização malsucedida do cluster

Resultado obtido

As desconexões de nós deixam de acontecer nos níveis de carga que antes as provocavam, e o cluster atravessa os picos de ingestão sem ciclos de reconexão. Quando o volume de atributos era a causa, a pressão de memória cai o suficiente para que o heap possa ser reduzido em vez de aumentado.

Tecnologias

Apache NiFiZooKeeperApache Kafka

Precisa de suporte especializado em Apache NiFi?

Os engenheiros Apache NiFi sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.