개요
Lambda 아키텍처에서 어려운 결정은 핸들러가 아니라 이벤트 소스에서 내려집니다. 큐냐 스트림이냐, 배치 크기와 윈도, 순서 보장, 동시성 한도, 그리고 처리할 수 없는 메시지를 어떻게 할 것인가입니다. 이를 잘못 정하면 애플리케이션 버그처럼 보이는 문제가 생깁니다.
과제
환경 안에 큐와 스트림이 섞여 있었지만 어느 쪽을 써야 하는지에 대한 명확한 기준이 없었습니다. 순서에 민감한 워크로드가 순서를 보장하지 않는 소스에서 실행되었고, 배치 크기는 레코드당 처리 비용과 관계없이 기본값으로 방치되었으며, 일부 함수의 무제한 동시성이 다운스트림 레거시 시스템을 압도하고 있었고, 장애 처리 방식이 함수마다 달라 운영자가 일관된 방식으로 복구할 수 없었습니다.
환경
큐, 스트림, 메시징 시스템을 소비하며 최신 서비스와 용량이 제한된 레거시 백엔드를 통합하는 AWS Lambda. AceMQ는 플랫폼 위에서 고객의 이벤트 아키텍처를 설계하며, 플랫폼 운영은 AWS가 담당합니다.
접근 방식
AceMQ는 각 워크로드를 순서 요건, 처리량, 레코드당 처리 비용, 다운스트림 용량으로 분류한 뒤, 유형별로 배치, 동시성, 장애 처리 방식을 정의한 적절한 이벤트 소스에 매핑했습니다. 다운스트림 시스템에 확고한 상한이 있는 곳에는 동시성 한도를 명시적으로 설정했습니다. 이는 나중에 덧붙이는 튜닝이 아니라 설계상의 결정이기 때문입니다.
해결책
- 순서 요건, 처리량, 레코드당 비용, 다운스트림 용량으로 워크로드 분류
- 워크로드 유형별로 사용할 이벤트 소스를 정의하고 그 근거를 문서화
- 플랫폼 기본값을 그대로 두지 않고 워크로드별 배치 크기와 배치 윈도 설정
- 용량이 제한된 레거시 백엔드를 버스트로부터 보호하기 위해 예약 동시성 적용
- 환경 전반에 dead-letter 대상과 실패 시 대상(on-failure destination)으로 장애 처리 표준화
- at-least-once 전달이 기본적으로 안전하도록 멱등성 패턴 확립
성과
레거시 백엔드는 더 이상 버스트 트래픽에 압도되지 않고, 순서에 민감한 워크로드는 실제로 순서를 보장하는 소스로 옮겨졌으며, 장애 복구는 함수마다 따로 조사하는 일이 아니라 문서화된 하나의 절차가 되었습니다.