Voltar para todos os casos de uso

CorreçãoEnergia / serviços públicos

Sem limites de backpressure, o NiFi enche o disco sem a menor cerimônia

Operadora regional de serviços públicos

Recuperação de nós do NiFi cujo content repository encheu porque um processor downstream sob backpressure não tinha limites de fila à sua frente.

Visão geral

O NiFi guarda o conteúdo dos flowfiles em disco, no content repository, e conexões sem limites de backpressure enfileiram indefinidamente. Quando um processor downstream fica lento ou para, os processors upstream continuam produzindo e o repositório cresce até o volume encher; a partir daí o nó também não consegue gravar provenance e, na prática, para. A AceMQ recupera o nó e configura os limites que deveriam estar lá desde o início.

Desafio

A sequência de falha é sempre a mesma: um sistema de destino fica indisponível ou lento, o processor correspondente para de esvaziar sua fila de entrada, os processors upstream continuam produzindo e as filas das conexões crescem sem limite porque os valores padrão nunca foram ajustados. O disco enche, o provenance repository não consegue mais gravar e o nó para de processar por completo. A recuperação é delicada, porque apagar os arquivos do repositório manualmente corrompe o estado dos flowfiles, e o conteúdo arquivado complica ainda mais o quadro.

Ambiente

Clusters Apache NiFi on-premises ou em VMs na nuvem, com flowfile, content e provenance repositories separados, ingerindo dados de sistemas de campo e corporativos.

Abordagem

A AceMQ recupera espaço em disco com segurança (expiração do arquivo de conteúdo e esvaziamento controlado das filas, em vez de apagar arquivos manualmente) e, depois, restaura o nó e o flow. O trabalho definitivo é configurar limites de backpressure por número de objetos e por tamanho de dados em todas as conexões, adicionar balanceamento de carga e priorização onde fizer sentido e separar os repositórios em volumes próprios, para que um deles enchendo não pare os outros.

Solução

  1. Recuperação segura de disco por meio da expiração do arquivo de conteúdo e do esvaziamento controlado das filas, sem apagar manualmente arquivos do repositório
  2. Limites de backpressure por número de objetos e por tamanho de dados aplicados a todas as conexões, dimensionados pelo throughput downstream
  3. Ajuste das configurações de arquivamento, do período de retenção e do percentual de uso do content repository ao volume disponível
  4. Separação dos repositórios em volumes dedicados, para que o crescimento do conteúdo não interrompa as gravações de provenance e de flowfiles
  5. Design do caminho de falha dos processors afetados, roteando para um flow de retry ou de retenção em vez de enfileirar indefinidamente
  6. Alertas de uso de disco, profundidade de fila e backpressure, para que a condição dispare um alarme bem antes de o volume encher

Resultado obtido

Os nós afetados voltam a operar sem perda de flowfiles, e o backpressure no nível das conexões faz com que uma indisponibilidade downstream agora apenas desacelere o flow, em vez de encher o disco. Os alertas detectam a condição enquanto ainda há espaço para agir.

Tecnologias

Apache NiFiApache KafkaApache Hadoop

Enfrentando um problema de produção com Apache NiFi?

Os engenheiros Apache NiFi sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.