개요
하트비트를 놓친 NiFi 노드는 클러스터 코디네이터에 의해 연결이 끊기며, 지속적인 부하 상황에서는 연결 끊김과 재합류가 반복되어 결국 플로우를 사실상 사용할 수 없게 될 수 있습니다. 네트워크가 원인인 경우는 드뭅니다. AceMQ는 실제 원인을 진단하고 클러스터를 안정시킵니다.
과제
가장 흔한 원인은 긴 가비지 컬렉션 일시 정지입니다. 플로우파일 속성 양을 고려하지 않고 산정한 힙이나, 큰 속성 맵을 메모리에 보유하는 프로세서는 하트비트 주기보다 긴 full GC 일시 정지를 만들어 냅니다. 그 밖의 원인으로는 I/O 경합 상황의 ZooKeeper 세션 타임아웃, 그리고 노드가 서로 다른 플로우 정의를 가진 채 재합류한 뒤의 플로우 동기화 실패가 있습니다. 세 가지 모두 UI에서는 똑같이 보이지만, 해결 방법은 각기 다릅니다.
환경
내장 또는 외부 ZooKeeper를 사용하며 대용량 수집 플로우를 실행하는, 온프레미스 또는 클라우드 VM 기반 Apache NiFi 클러스터.
접근 방식
AceMQ 엔지니어는 GC 로그, 하트비트 타이밍, ZooKeeper 세션 이벤트를 연결 끊김 시각과 대조해 세 가지 중 실제 원인을 가려냅니다. 즉각적인 안정화를 위해 힙, GC 컬렉터, 타임아웃 값을 조정하고, 근본적인 해결을 위해 애초에 일시 정지를 길게 만든 플로우 설계나 속성 양을 바로잡습니다.
해결책
- 플랜에 따라 15분부터 시작하는 대응 목표, 1차 분류 없이 전담 시니어 엔지니어가 24/7 대응
- GC 로그, 하트비트, ZooKeeper 세션을 연결 끊김 이벤트와 대조해 실제 원인 파악
- 플로우파일 속성 양과 동시 실행 프로세서 수에 맞춘 힙 크기 및 가비지 컬렉터 구성
- 관측된 일시 정지 시간보다 여유를 두고 클러스터 하트비트 주기와 ZooKeeper 세션 타임아웃 조정
- 큰 속성을 메모리에 보유하는 프로세서를 찾아 페이로드 데이터를 속성이 아닌 콘텐츠로 옮기는 플로우 검토
- 클러스터 재시작 실패 후 플로우 정의가 서로 다를 때를 위한 플로우 동기화 및 노드 재합류 절차
성과
이전에 연결 끊김을 일으키던 부하 수준에서도 더 이상 노드가 빠지지 않으며, 클러스터는 수집 피크를 재합류 반복 없이 견뎌 냅니다. 속성 양이 원인이었던 경우에는 메모리 압박이 충분히 줄어 힙을 늘리는 대신 오히려 줄일 수 있었습니다.