개요
Quota와 SpikeArrest는 서로 다른 문제를 해결하며 동작 방식도 다릅니다. SpikeArrest는 메시지 프로세서 수준에서 순간 요청률을 평탄화하고, Quota는 일정 기간 동안 분산 카운터를 기준으로 횟수를 셉니다. 한쪽이 필요한 곳에 다른 쪽을 구성하면 이 고객사가 겪은 증상이 정확히 나타납니다.
과제
파트너들은 계약한 호출량에 한참 못 미치는 수준에서 스로틀링 응답을 받는 반면, 한 파트너에게서 발생한 실제 트래픽 버스트는 여전히 백엔드까지 도달해 성능을 떨어뜨렸습니다. SpikeArrest는 메시지 프로세서가 하나라고 가정한 요청률로 설정되어 있었고, Quota 정책은 분산 및 동기 방식으로 구성되지 않아 프로세서마다 카운트가 서로 달라졌습니다.
환경
예약 및 재고 백엔드 앞단의 Apigee X로, 파트너 등급별 Quota가 API 제품에 정의되어 있습니다.
접근 방식
AceMQ는 의도한 상업적 요청 한도를 버스트 평탄화와 계약상 호출량이라는 각 동작에 맞는 정책에 매핑하고, 카운터 분산 설정을 바로잡았습니다. 그런 다음 꾸준한 파트너 부하와 현실적인 버스트를 모두 재현하는 부하 프로파일로 검증했습니다.
해결책
- 버스트 평탄화(SpikeArrest)와 계약상 호출량 적용(Quota)을 명시적으로 분리
- 메시지 프로세서마다 Quota 카운트가 어긋나지 않도록 분산 및 동기 카운팅 활성화
- Quota 식별자를 프록시 수준 기본값이 아니라 API 제품과 개발자 앱에 맞춰 정렬
- 실제로 트래픽을 처리하는 메시지 프로세서 수를 반영하도록 SpikeArrest 요청률 수정
- 배포 전에 지속적인 파트너 트래픽과 현실적인 버스트 프로파일을 모두 사용해 부하 테스트
성과
정상적인 파트너 트래픽이 계약 호출량 미만에서 거부되는 일이 사라졌고, 버스트 트래픽은 이제 그대로 백엔드에 도달하지 않고 게이트웨이에서 평탄화됩니다.