Visão geral
O NiFi guarda o conteúdo dos flowfiles em disco, no content repository, e conexões sem limites de backpressure enfileiram indefinidamente. Quando um processor downstream fica lento ou para, os processors upstream continuam produzindo e o repositório cresce até o volume encher; a partir daí o nó também não consegue gravar provenance e, na prática, para. A AceMQ recupera o nó e configura os limites que deveriam estar lá desde o início.
Desafio
A sequência de falha é sempre a mesma: um sistema de destino fica indisponível ou lento, o processor correspondente para de esvaziar sua fila de entrada, os processors upstream continuam produzindo e as filas das conexões crescem sem limite porque os valores padrão nunca foram ajustados. O disco enche, o provenance repository não consegue mais gravar e o nó para de processar por completo. A recuperação é delicada, porque apagar os arquivos do repositório manualmente corrompe o estado dos flowfiles, e o conteúdo arquivado complica ainda mais o quadro.
Ambiente
Clusters Apache NiFi on-premises ou em VMs na nuvem, com flowfile, content e provenance repositories separados, ingerindo dados de sistemas de campo e corporativos.
Abordagem
A AceMQ recupera espaço em disco com segurança (expiração do arquivo de conteúdo e esvaziamento controlado das filas, em vez de apagar arquivos manualmente) e, depois, restaura o nó e o flow. O trabalho definitivo é configurar limites de backpressure por número de objetos e por tamanho de dados em todas as conexões, adicionar balanceamento de carga e priorização onde fizer sentido e separar os repositórios em volumes próprios, para que um deles enchendo não pare os outros.
Solução
- Recuperação segura de disco por meio da expiração do arquivo de conteúdo e do esvaziamento controlado das filas, sem apagar manualmente arquivos do repositório
- Limites de backpressure por número de objetos e por tamanho de dados aplicados a todas as conexões, dimensionados pelo throughput downstream
- Ajuste das configurações de arquivamento, do período de retenção e do percentual de uso do content repository ao volume disponível
- Separação dos repositórios em volumes dedicados, para que o crescimento do conteúdo não interrompa as gravações de provenance e de flowfiles
- Design do caminho de falha dos processors afetados, roteando para um flow de retry ou de retenção em vez de enfileirar indefinidamente
- Alertas de uso de disco, profundidade de fila e backpressure, para que a condição dispare um alarme bem antes de o volume encher
Resultado obtido
Os nós afetados voltam a operar sem perda de flowfiles, e o backpressure no nível das conexões faz com que uma indisponibilidade downstream agora apenas desacelere o flow, em vez de encher o disco. Os alertas detectam a condição enquanto ainda há espaço para agir.