개요
CloudHub 워커가 메모리 압박으로 재시작되면 플랫폼은 재시작이 일어났다는 사실만 알려 줍니다. 어떤 플로우, 어떤 오브젝트 스토어, 어떤 커넥터 누수가 원인인지는 알려 주지 않습니다. 이 분석은 애플리케이션 쪽의 일이며, 바로 AceMQ가 일하는 영역입니다. AceMQ는 고객이 MuleSoft 위에서 실행하는 것을 튜닝하고 디버깅하며, MuleSoft 자체를 운영하지는 않습니다.
과제
워커가 하루에도 여러 번 재시작되면서 처리 중인 메시지가 유실되고 있었습니다. 애플리케이션은 중복 제거 키를 만료 없이 인메모리 오브젝트 스토어에 보관했고, 캐시된 조회 데이터는 제한 없이 늘어났으며, 커넥터 구성은 풀링 없이 요청마다 새 연결을 열었습니다. 원인 하나하나는 버틸 만했지만, 세 가지가 겹치면서 매일 워커의 메모리 상한을 넘어섰습니다.
환경
POS, 재고, ERP 시스템을 통합하며 여러 환경에 걸쳐 CloudHub에서 실행되는 Mule 애플리케이션.
접근 방식
AceMQ는 재시작 시각을 애플리케이션 동작 및 워커 지표와 대조해 조사 범위를 좁힌 다음, 애플리케이션 쪽에서 메모리를 잡아먹는 가장 흔한 세 가지 원인인 오브젝트 스토어 구성, 캐싱 스코프, 커넥터 풀링을 검토했습니다. 전담 시니어 엔지니어가 24/7 커버리지와 플랜에 따라 15분부터 시작하는 대응 목표로 문제를 직접 해결했습니다.
해결책
- 워커 재시작 이벤트를 플로우 활동 및 메모리 지표와 대조해 원인이 된 플로우 분리
- 무제한 인메모리 오브젝트 스토어를 명시적 TTL을 둔 영구 저장소로 이전
- 제한 없이 커진 조회 데이터에 캐시 스코프 한도와 축출 정책 설정
- 요청마다 연결을 열던 커넥터에 커넥션 풀링 활성화
- 예기치 않은 재시작이 발생해도 처리 중인 작업이 유실되지 않도록 메시지 수준 내구성 추가
- 실측한 평상시 및 피크 메모리를 기준으로 워커 할당 규모 조정
성과
매일 반복되던 워커 재시작이 멈췄고, 이제 처리 중인 메시지는 재시작이 일어나도 유실되지 않고 유지됩니다. 워커 규모는 짐작이 아닌 실측 동작을 근거로 설정되었습니다.