개요
모든 Kong 플러그인은 요청 경로에서 실행됩니다. 2년에 걸쳐 여러 팀이 쌓아 올린 플러그인 체인은 그 뒤에 있는 업스트림 서비스보다 더 큰 지연 시간을 쉽게 유발할 수 있으며, 블로킹 네트워크 호출을 수행하는 커스텀 Lua 플러그인이 대개 주범입니다.
과제
특정 배포를 원인으로 지목할 수 없는 상태에서 게이트웨이 p99 지연 시간이 꾸준히 증가하고 있었습니다. 플러그인 체인에는 역할이 겹치는 여러 인증 관련 플러그인, 외부 서비스에 동기 조회를 수행하는 커스텀 Lua 플러그인, 그리고 간헐적으로 적체되는 싱크에 기록하는 로깅 플러그인이 포함되어 있었습니다.
환경
엄격한 엔드투엔드 지연 시간 예산이 적용되는 결제 승인 서비스 앞단의 Kubernetes 기반 Kong.
접근 방식
AceMQ는 플러그인 체인을 하나의 수치로 보지 않고 플러그인별, 단계별로 지연 시간을 구분할 수 있도록 게이트웨이를 계측한 뒤, 개별 플러그인을 비활성화한 상태로 통제된 비교 테스트를 수행했습니다. 이를 통해 실제로 시간을 소모하는 플러그인과 단지 의심스러워 보이기만 하는 플러그인을 구분했습니다.
해결책
- 요청 지연 시간을 체인 전체가 아니라 플러그인별, 실행 단계별로 분류
- 운영 환경과 유사한 부하에서 개별 플러그인을 비활성화한 통제된 A/B 비교 수행
- access 단계에서 블로킹 외부 호출을 수행하는 커스텀 Lua 플러그인 식별
- 역할이 겹치는 인증 플러그인을 검증된 단일 경로로 통합
- 적체된 싱크가 꼬리 지연 시간을 늘리는 구간에 비동기 또는 버퍼링 로깅 권고
- 새 플러그인이 반드시 지켜야 할 플러그인별 지연 시간 예산 제공
성과
블로킹 커스텀 플러그인을 재작업하고 인증 체인을 통합하자 게이트웨이가 추가하는 p99 지연 시간이 크게 줄었습니다. 또한 팀은 향후 플러그인을 평가할 기준이 되는 지연 시간 예산을 확보했습니다.