개요
클러스터 방식의 Pentaho 실행은 작업을 Carte 슬레이브 서버로 넘기며, 이 슬레이브의 상태가 나빠지면 변환이 그냥 끝나지 않는 증상이 나타납니다. 마스터는 변환이 무한정 실행 중이라고 보고하고, 운영자가 할 수 있는 일은 재시작뿐입니다.
과제
클러스터 변환이 일주일에 몇 번씩 멈추기 시작했습니다. Carte 슬레이브 JVM은 하루 동안 꾸준히 커지며 회수되지 않았고, 고아 변환 세션이 슬레이브 레지스트리에 쌓였으며, 마스터를 재시작해도 정리되지 않았습니다. 배치 시간대는 생산 근무 시간까지 넘어가기 시작했습니다.
환경
온프레미스 Linux 호스트에 Carte 마스터와 여러 슬레이브 서버를 두고 제조 보고용 데이터 웨어하우스에 데이터를 공급하는 Pentaho Data Integration.
접근 방식
AceMQ는 멈춘 슬레이브를 재시작하는 대신 힙 덤프와 스레드 덤프를 수집해, 행이 어디에서 쌓이고 어떤 단계가 막고 있는지 파악했습니다. 무제한 버퍼링을 일으키던 row-set 크기를 바로잡고, 완료된 변환이 슬레이브 레지스트리에서 정리되도록 수명 주기 처리를 추가했으며, 상태가 나빠진 인스턴스를 붙들고 고치는 대신 교체할 수 있도록 슬레이브를 컨테이너화했습니다.
해결책
- 멈춘 Carte 슬레이브에서 힙 및 스레드 덤프를 수집해 막고 있는 단계와 버퍼링 동작 파악
- 클러스터 단계가 더 이상 무제한 버퍼링하지 않도록 row-set 크기와 파티셔닝 수정
- 완료된 변환 세션과 고아 변환 세션을 슬레이브 레지스트리에서 정리하는 처리 추가
- 상태가 나빠진 인스턴스가 자동으로 교체되도록 헬스 체크를 갖춘 Carte 슬레이브 컨테이너화
- 슬레이브 JVM 메모리와 활성 변환 수를 계측하고 알림 임계값 설정
성과
매주 발생하던 멈춤 현상이 사라졌고, 배치 작업은 다시 할당된 시간대 안에 끝납니다. 슬레이브 재시작은 밤새 수동으로 하던 작업이 아니라 드물게 일어나는 자동화된 이벤트가 되었습니다.