전체 사례로 돌아가기

문제 해결산업 공통

페이로드가 커지자 워커 전체가 함께 무너졌습니다

도매 유통 그룹

반복 가능 스트리밍 전략이 구성되지 않아 수백 MB 규모의 페이로드 전체를 버퍼링하던 Mule 애플리케이션의 메모리 부족 장애를 해결했습니다.

개요

Mule의 기본 인메모리 반복 가능 스트리밍은 페이로드가 설정된 버퍼를 넘기 전까지는 잘 동작합니다. 그 이후의 동작은 대부분의 애플리케이션이 한 번도 설정하지 않는 스트리밍 전략에 전적으로 달려 있습니다. 이 문제는 대용량 파일 및 대용량 응답을 다루는 통합에서 드러나며, 대개 프로덕션에서, 그리고 대개 파트너의 규모가 커진 뒤에 나타납니다.

과제

파트너 파일 통합이 파일 크기가 수백 MB를 넘어서자 실패하기 시작했습니다. 플로우는 기본 인메모리 반복 가능 스트림을 그대로 둔 채 전체 페이로드에 대해 DataWeave 변환과 For Each 스코프를 사용했기 때문에, 문서 전체가 힙에 두 번 이상 구체화되었습니다. 워커는 처리 도중 종료되었고, 재시도 시 파트너 파일을 처음부터 다시 처리하면서 부하가 더욱 가중되었습니다.

환경

파트너 파일 피드와 API 트래픽을 처리하며 클라우드 데이터베이스 및 내부 서비스와 통합되는, CloudHub 워커 기반 Mule 애플리케이션.

접근 방식

AceMQ는 실패하는 파일을 재현하면서 워커 힙을 프로파일링해 페이로드가 어디서 구체화되는지 확인한 뒤, 버퍼링 대신 스트리밍하도록 플로우를 재작업했습니다. 참고로 AceMQ는 MuleSoft 플랫폼을 운영하지 않습니다. 이 작업은 그 위에서 실행되는 고객의 애플리케이션, 플로우, 통합 설계를 대상으로 합니다.

해결책

  1. 장애를 재현하면서 워커 힙을 프로파일링해 페이로드가 구체화되는 지점 파악
  2. 대용량 페이로드에 맞는 버퍼 크기로 파일 저장소 기반 반복 가능 스트리밍 구성
  3. 문서 전체를 메모리에 로드하지 않고 스트리밍하도록 DataWeave 변환 재작업
  4. 전체 페이로드 반복 처리를 배치 처리와 크기가 제한된 레코드 블록으로 교체
  5. 재시도 시 파일 전체를 다시 시작하지 않고 레코드 체크포인트에서 재개하도록 개선
  6. 관측된 최대 파트너 파일보다 훨씬 큰 페이로드로 부하 테스트

성과

메모리 부족 장애가 멈췄고, 이제 통합은 같은 워커 규모로 원래 장애를 일으킨 크기의 몇 배에 달하는 파일도 처리합니다.

기술

MuleSoftKubernetesDockerPostgreSQL

MuleSoft 프로덕션 문제에 직면해 계신가요?

AceMQ의 시니어 MuleSoft 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.