전체 사례로 돌아가기

컨설팅산업 공통

핸들러를 작성하기 전에 올바른 이벤트 소스를 고릅니다

화물 운송 기술 기업

일관된 이벤트 아키텍처 없이 커져 온 Lambda 환경을 위해 이벤트 소스 매핑, 배치, 순서 보장, 장애 처리를 설계했습니다.

개요

Lambda 아키텍처에서 어려운 결정은 핸들러가 아니라 이벤트 소스에서 내려집니다. 큐냐 스트림이냐, 배치 크기와 윈도, 순서 보장, 동시성 한도, 그리고 처리할 수 없는 메시지를 어떻게 할 것인가입니다. 이를 잘못 정하면 애플리케이션 버그처럼 보이는 문제가 생깁니다.

과제

환경 안에 큐와 스트림이 섞여 있었지만 어느 쪽을 써야 하는지에 대한 명확한 기준이 없었습니다. 순서에 민감한 워크로드가 순서를 보장하지 않는 소스에서 실행되었고, 배치 크기는 레코드당 처리 비용과 관계없이 기본값으로 방치되었으며, 일부 함수의 무제한 동시성이 다운스트림 레거시 시스템을 압도하고 있었고, 장애 처리 방식이 함수마다 달라 운영자가 일관된 방식으로 복구할 수 없었습니다.

환경

큐, 스트림, 메시징 시스템을 소비하며 최신 서비스와 용량이 제한된 레거시 백엔드를 통합하는 AWS Lambda. AceMQ는 플랫폼 위에서 고객의 이벤트 아키텍처를 설계하며, 플랫폼 운영은 AWS가 담당합니다.

접근 방식

AceMQ는 각 워크로드를 순서 요건, 처리량, 레코드당 처리 비용, 다운스트림 용량으로 분류한 뒤, 유형별로 배치, 동시성, 장애 처리 방식을 정의한 적절한 이벤트 소스에 매핑했습니다. 다운스트림 시스템에 확고한 상한이 있는 곳에는 동시성 한도를 명시적으로 설정했습니다. 이는 나중에 덧붙이는 튜닝이 아니라 설계상의 결정이기 때문입니다.

해결책

  1. 순서 요건, 처리량, 레코드당 비용, 다운스트림 용량으로 워크로드 분류
  2. 워크로드 유형별로 사용할 이벤트 소스를 정의하고 그 근거를 문서화
  3. 플랫폼 기본값을 그대로 두지 않고 워크로드별 배치 크기와 배치 윈도 설정
  4. 용량이 제한된 레거시 백엔드를 버스트로부터 보호하기 위해 예약 동시성 적용
  5. 환경 전반에 dead-letter 대상과 실패 시 대상(on-failure destination)으로 장애 처리 표준화
  6. at-least-once 전달이 기본적으로 안전하도록 멱등성 패턴 확립

성과

레거시 백엔드는 더 이상 버스트 트래픽에 압도되지 않고, 순서에 민감한 워크로드는 실제로 순서를 보장하는 소스로 옮겨졌으며, 장애 복구는 함수마다 따로 조사하는 일이 아니라 문서화된 하나의 절차가 되었습니다.

기술

AWS LambdaAmazon SQSKafkaRabbitMQDocker

AWS Lambda 아키텍처 가이드가 필요하신가요?

AceMQ의 시니어 AWS Lambda 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.