개요
SQS 큐의 가시성 제한 시간(visibility timeout)이 이를 소비하는 Lambda의 제한 시간보다 짧으면, 첫 번째 호출이 아직 처리 중인데도 메시지가 다시 보이게 됩니다. 두 번째 호출이 이를 가져가고, 부하가 지속되면 중복 작업이 스스로를 키우는 루프가 되어 실제 비용을 발생시키고 중복된 부수 효과를 만듭니다.
과제
평소 거의 비어 있던 큐에 밤사이 대량의 백로그가 쌓였고, 호출 횟수가 메시지 수보다 훨씬 많았으며, 다운스트림 레코드에 중복이 나타났습니다. 더 큰 페이로드를 처리하려고 함수 제한 시간을 늘리면서 큐의 가시성 제한 시간은 그에 맞게 바꾸지 않았던 것입니다. 설상가상으로 핸들러의 오류 경로가 성공을 반환하고 있어, 실패한 메시지가 데드레터 큐로 가지 않고 삭제되었으며, 이와 별개로 일부 포이즌 메시지는 끝없이 순환했습니다.
환경
SQS 큐를 소비하며 관계형 데이터베이스에 기록하고 내부 API를 호출하는 AWS Lambda 함수. AceMQ는 AWS 플랫폼 자체가 아니라 고객의 함수, 이벤트 소스 설정, 연동 설계를 다룹니다.
접근 방식
AceMQ는 호출 횟수와 메시지 수를 비교해 중복을 확인한 뒤, 모든 함수와 큐 조합에 대해 제한 시간 관계, 배치 동작, 오류 처리를 점검했습니다. 하나만 고치면 루프가 다시 발생할 수 있으므로 제한 시간 불일치, 묵살된 오류, 누락된 데드레터 경로를 함께 해결했습니다.
해결책
- 모든 함수와 큐 조합에서 큐 가시성 제한 시간을 함수 제한 시간의 안전한 배수로 설정
- 성공을 반환해 실패한 메시지가 삭제되게 만들던 핸들러 오류 경로 수정
- 포이즌 메시지가 루프에서 빠져나가도록 적절한 maxReceiveCount를 지정해 데드레터 큐 구성
- 레코드 하나의 오류로 배치 전체가 재시도되지 않도록 부분 배치 응답(partial batch response) 보고 활성화
- 중복 전달이 발생해도 영향이 없도록 다운스트림 쓰기를 멱등하게 변경
- 메시지 대비 호출 비율과 데드레터 큐 깊이에 대한 알림 추가
성과
재처리 루프가 사라지고 백로그가 소진되었으며, 다운스트림 레코드의 중복도 멈췄습니다. 호출 횟수가 다시 메시지량에 맞춰 움직이면서 관련 비용 급증도 해소되었습니다.