Visão geral
Um nó do NiFi que perde heartbeats é desconectado pelo coordenador do cluster e, sob carga contínua, o ciclo de desconexão e reconexão pode se repetir até que o flow fique, na prática, indisponível. A rede raramente é a causa. A AceMQ diagnostica o gatilho real e estabiliza o cluster.
Desafio
Pausas longas de garbage collection são a causa mais comum: um heap dimensionado sem considerar o volume de atributos dos flowfiles, ou processors que mantêm grandes mapas de atributos em memória, geram pausas de full GC mais longas que o intervalo de heartbeat. Outros gatilhos incluem timeouts de sessão do ZooKeeper sob contenção de I/O e falhas de sincronização do flow depois que um nó volta ao cluster com uma definição de flow divergente. Os três aparecem da mesma forma na interface, e cada um se corrige de um jeito diferente.
Ambiente
Clusters Apache NiFi com ZooKeeper embutido ou externo, em VMs on-premises ou na nuvem, executando flows de ingestão de alto volume.
Abordagem
Os engenheiros da AceMQ correlacionam os logs de GC, os tempos de heartbeat e os eventos de sessão do ZooKeeper com os horários das desconexões para determinar qual dos três é realmente o responsável. A estabilização imediata ajusta o heap, o coletor de GC e os valores de timeout; a correção definitiva ataca o design do flow ou o volume de atributos que tornava as pausas longas desde o início.
Solução
- Metas de resposta a partir de 15 minutos, conforme o plano, com engenheiros sêniores designados, 24/7, sem triagem de nível 1
- Correlação de logs de GC, heartbeats e sessões do ZooKeeper com os eventos de desconexão para identificar o gatilho real
- Dimensionamento do heap e configuração do garbage collector de acordo com o volume de atributos dos flowfiles e o número de processors simultâneos
- Ajuste do intervalo de heartbeat do cluster e do timeout de sessão do ZooKeeper com folga sobre a duração das pausas observadas
- Revisão do flow em busca de processors que mantêm atributos grandes em memória, movendo os dados de payload para o conteúdo em vez dos atributos
- Procedimentos de sincronização do flow e de reconexão de nós para definições de flow divergentes após uma reinicialização malsucedida do cluster
Resultado obtido
As desconexões de nós deixam de acontecer nos níveis de carga que antes as provocavam, e o cluster atravessa os picos de ingestão sem ciclos de reconexão. Quando o volume de atributos era a causa, a pressão de memória cai o suficiente para que o heap possa ser reduzido em vez de aumentado.