전체 사례로 돌아가기

기술 지원소프트웨어 / 디지털 플랫폼

노드 수만큼 할당량의 몇 배를 통과시키던 속도 제한

B2B SaaS 기업

멀티 노드 게이트웨이에서 플러그인이 로컬 카운터 정책을 사용하는 바람에, 설정한 할당량의 몇 배를 허용하던 속도 제한 문제를 해결했습니다.

개요

Kong의 속도 제한 플러그인은 기본적으로 로컬 카운터 정책을 사용하며, 이는 각 노드의 자체 메모리에 카운트를 저장합니다. 단일 노드에서는 이것이 올바른 동작입니다. 하지만 수평 확장된 게이트웨이에서는 노드마다 전체 한도를 독립적으로 적용하게 되므로, 실제 상한은 설정한 한도에 노드 수를 곱한 값이 됩니다.

과제

종량제 요금제 고객들이 문서에 명시된 요청 할당량을 꾸준히 초과하고 있었고, 한 파트너 연동이 속도 제한으로 보호해야 할 다운스트림 서비스를 압도해 버렸습니다. 플러그인 구성상으로는 한도가 올바르게 보였습니다. 게이트웨이는 몇 달 전 레플리카 2개에서 8개로 확장되었지만, 아무도 카운터 정책을 다시 검토하지 않았습니다.

환경

수평 확장된 데이터 플레인을 갖추고 컨슈머별 속도 제한을 적용하며, 클러스터 내에서 Redis를 사용할 수 있는 Kubernetes 상의 Kong.

접근 방식

AceMQ는 요청을 레플리카 전반에 고정 분산하는 통제된 부하 테스트로 할당량 초과를 재현해, 실제 한도가 레플리카 수에 비례해 늘어난다는 것을 확인했습니다. 카운터 저장소를 공유 Redis 백엔드로 옮긴 뒤 Redis 경로 자체도 부하 테스트했습니다. 공유 카운터는 요청 경로에 네트워크 홉을 하나 더하므로, 별도의 타임아웃과 장애 동작을 정의해야 하기 때문입니다.

해결책

  1. 게이트웨이 레플리카 전반에 분산된 부하 테스트로 할당량 초과 재현
  2. 속도 제한 카운터를 로컬 정책에서 공유 Redis 기반 저장소로 이전
  3. 카운터 저장소 장애 시 예측 가능하게 성능이 저하되도록 Redis 타임아웃과 장애 허용 동작 정의
  4. 컨슈머별, 서비스별, 전역 한도가 서로를 가리지 않도록 분리
  5. 공유 카운터 경로를 부하 테스트해 추가 지연이 게이트웨이 예산 내에 있음을 확인

성과

이제 레플리카 수와 관계없이 실제 적용되는 한도가 설정한 한도와 일치하며, 속도 제한으로 보호하려던 다운스트림 서비스도 단일 파트너의 트래픽에 더 이상 압도되지 않습니다.

기술

KongRedisKubernetesPostgreSQL

Kong 전문 기술 지원이 필요하신가요?

AceMQ의 시니어 Kong 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.