개요
VPC에 연결된 Lambda 함수가 확장하려면 네트워크 인터페이스와 서브넷 IP 주소가 필요합니다. 작은 서브넷을 다른 워크로드와 공유하는 경우, 동시 호출이 한꺼번에 몰리면 사용 가능한 주소가 고갈되어 코드가 실행되기도 전에 함수가 실패합니다. 애플리케이션 로그에 아무것도 남지 않는 이유가 바로 이것입니다.
과제
장 시작 시점에 트래픽이 몰릴 때마다 호출의 일부가 네트워킹 오류로 실패했고 애플리케이션 로그는 전혀 남지 않았습니다. 함수들은 다른 서비스와 공유하는 작은 서브넷 두 개에 연결되어 있었습니다. 또한 모든 호출이 커넥션을 재사용하지 않고 핸들러 범위에서 매번 새 데이터베이스 커넥션을 열었기 때문에, 트래픽이 몰리면 서브넷 주소와 데이터베이스 커넥션 한도가 동시에 고갈되었습니다.
환경
장중 트래픽이 급격히 몰리는 가운데 프라이빗 데이터베이스와 내부 서비스에 접근하는 VPC 연결 AWS Lambda 함수. AceMQ는 고객사의 함수 구성, 네트워킹 설계, 커넥션 처리를 다루며, AWS 플랫폼 자체는 Amazon의 영역입니다.
접근 방식
AceMQ는 실패한 호출을 서브넷 주소 사용률 및 동시성과 대조해, 원인이 애플리케이션 결함이 아니라 주소 고갈임을 확인했습니다. 이어서 양쪽을 모두 개선했습니다. 트래픽 급증을 흡수할 만큼 충분한 주소 공간과 인터페이스 용량을 확보하고, 같은 급증이 데이터베이스를 공격하지 않도록 커넥션을 재사용하게 했습니다.
해결책
- 호출 실패를 서브넷 IP 사용률 및 동시성과 대조해 주소 고갈을 원인으로 확인
- 함수를 추가 가용 영역에 걸친, 적절한 크기의 전용 서브넷으로 이전
- 웜 호출이 커넥션을 재사용하도록 데이터베이스 커넥션 설정을 핸들러 밖으로 이동
- 급증한 동시성이 그대로 데이터베이스 커넥션으로 이어지지 않도록 커넥션 프록시 계층 도입
- 트래픽 급증 패턴상 필요한 곳에 예약 동시성과 프로비저닝된 동시성 설정
- 서브넷 주소 사용률과 함수 단위 스로틀 및 오류 지표에 대한 알림 추가
성과
장 시작 시점의 실패가 사라졌고, 호출마다 커넥션을 새로 만들지 않고 재사용하게 되면서 트래픽 급증 시 데이터베이스 커넥션 수가 대폭 줄었습니다.