개요
NiFi 캔버스에서는 플로우를 만들기도 쉽지만, 아무도 안전하게 바꿀 수 없는 플로우를 만들기도 쉽습니다. 하드코딩된 엔드포인트, 프로세스 그룹 경계의 부재, 버전 관리의 부재가 겹치면 모든 변경이 곧 운영 환경 변경이 되는 통합 계층이 만들어집니다. AceMQ는 캔버스를 실제 승격 경로를 갖춘, 버전 관리되고 매개변수화된 구성 요소로 재구성합니다.
과제
오래 운영된 NiFi 환경에는 수백 개의 프로세서가 놓인 단일 캔버스, 프로세서 속성에 직접 입력된 자격 증명과 호스트 이름, 환경 간 분리의 부재, 그리고 다른 환경이 없어서 운영 환경에서 바로 이루어지는 변경이 흔히 있습니다. 캔버스의 어느 부분이 아직 사용 중인지 아무도 모릅니다. 운영 환경의 문제를 다른 곳에서 재현할 수 없고, 캔버스에서 실수로 한 번 드래그하면 수집 경로가 멈출 수도 있습니다.
환경
온프레미스와 클라우드 환경에 걸쳐 현장 장비, 엔터프라이즈 시스템, Kafka, 오브젝트 스토리지를 통합하는 Apache NiFi 클러스터.
접근 방식
AceMQ는 캔버스를 논리적 통합 경로에 맞춘 프로세스 그룹으로 분해하고, 환경별 값을 매개변수 컨텍스트로 추출하며, 자격 증명을 실제 시크릿 저장소를 기반으로 하는 매개변수 공급자로 옮깁니다. 플로우는 환경 간 승격 경로를 갖춘 NiFi Registry 버전 관리 아래에 두고, 휴면 경로는 식별해 폐기합니다.
해결책
- 담당자가 정해진 논리적 통합 경로 단위의 프로세스 그룹으로 캔버스 분해
- 엔드포인트, 경로, 튜닝 값이 더 이상 프로세서 속성에 하드코딩되지 않도록 매개변수 컨텍스트 추출
- 시크릿 저장소 기반 매개변수 공급자로 자격 증명을 이전해 플로우 정의에서 평문 값 제거
- 개발, 테스트, 운영 환경 간 승격 경로가 정의된 NiFi Registry 버전 관리
- 프로버넌스 데이터로 휴면 플로우를 식별하고, 더 이상 트래픽이 흐르지 않는 경로 폐기
- 새 통합이 무질서한 확장을 키우지 않고 정해진 구조를 따르도록 재사용 가능한 플로우 템플릿과 명명 규칙 수립
성과
플로우 변경은 운영 환경에서 바로 이루어지지 않고 승격 경로를 거치며, 환경 간 차이는 별도의 캔버스가 아니라 매개변수 값이 됩니다. 휴면 경로를 폐기하면 일반적으로 캔버스의 프로세서 중 상당 부분이 제거됩니다.