전체 사례로 돌아가기

문제 해결에너지 / 유틸리티

백프레셔 임계값이 없으면 NiFi는 디스크를 아무렇지 않게 가득 채웁니다

지역 유틸리티 사업자

백프레셔가 걸린 다운스트림 프로세서 앞에 큐 한도가 없어 콘텐츠 리포지토리가 가득 찬 NiFi 노드를 복구했습니다.

개요

NiFi는 플로우파일 콘텐츠를 콘텐츠 리포지토리의 디스크에 보관하며, 백프레셔 임계값이 없는 커넥션은 끝없이 큐에 쌓아 둡니다. 다운스트림 프로세서가 느려지거나 멈추면 업스트림 프로세서는 계속 데이터를 생산하고, 리포지토리는 볼륨이 가득 찰 때까지 커집니다. 그 시점에는 노드가 프로비넌스도 기록할 수 없어 사실상 멈춥니다. AceMQ는 노드를 복구하고, 원래 있어야 했던 한도를 설정합니다.

과제

장애는 늘 같은 순서로 진행됩니다. 대상 시스템이 사용 불가 상태가 되거나 느려지고, 해당 프로세서가 인바운드 큐를 비우지 못하며, 업스트림 프로세서는 계속 생산하고, 기본 임계값을 한 번도 조정하지 않았기 때문에 커넥션 큐가 무한히 늘어납니다. 디스크가 가득 차고, 프로비넌스 리포지토리가 더 이상 기록하지 못하며, 노드는 처리를 완전히 멈춥니다. 리포지토리 파일을 수동으로 삭제하면 플로우파일 상태가 손상되고, 아카이브된 콘텐츠가 상황을 더 복잡하게 만들기 때문에 복구는 까다롭습니다.

환경

플로우파일, 콘텐츠, 프로비넌스 리포지토리를 분리해 운영하며 현장 시스템과 기업 시스템에서 데이터를 수집하는, 온프레미스 또는 클라우드 VM 기반 Apache NiFi 클러스터.

접근 방식

AceMQ는 수동 파일 삭제가 아니라 콘텐츠 아카이브 만료와 통제된 큐 드레이닝으로 디스크 공간을 안전하게 확보한 뒤, 노드와 플로우를 복원합니다. 지속적인 효과를 내는 작업은 모든 커넥션에 백프레셔 객체 수 및 데이터 크기 임계값을 설정하고, 필요한 곳에 로드 밸런싱과 우선순위를 추가하며, 리포지토리를 각자의 볼륨으로 분리해 하나가 가득 차도 나머지가 멈추지 않게 하는 것입니다.

해결책

  1. 리포지토리 파일을 수동으로 삭제하지 않고 콘텐츠 아카이브 만료와 통제된 큐 드레이닝으로 디스크를 안전하게 복구
  2. 다운스트림 처리량에 맞춰 산정한 백프레셔 객체 수 및 데이터 크기 임계값을 모든 커넥션에 적용
  3. 가용 볼륨에 맞춰 콘텐츠 리포지토리 아카이브 설정, 보존 기간, 사용률 튜닝
  4. 콘텐츠 증가가 프로비넌스 및 플로우파일 쓰기를 멈추지 못하도록 리포지토리를 전용 볼륨으로 분리
  5. 영향받은 프로세서의 실패 경로를 설계해 무한히 큐에 쌓는 대신 재시도 또는 보류 플로우로 라우팅
  6. 볼륨이 가득 차기 훨씬 전에 경보가 울리도록 디스크 사용량, 큐 깊이, 백프레셔 알림 구성

성과

영향받은 노드는 플로우파일 손실 없이 다시 서비스에 복귀하며, 커넥션 수준의 백프레셔 덕분에 이제 다운스트림 장애가 발생해도 디스크가 가득 차는 대신 플로우가 느려집니다. 알림은 아직 대응할 여유가 있을 때 이 상황을 포착합니다.

기술

Apache NiFiApache KafkaApache Hadoop

Apache NiFi 프로덕션 문제에 직면해 계신가요?

AceMQ의 시니어 Apache NiFi 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.