개요
WSO2 API Manager는 스로틀링을 게이트웨이 노드별로 로컬에서 평가하거나, 트래픽 매니저를 통해 중앙에서 평가할 수 있습니다. 게이트웨이 노드가 트래픽 매니저와의 연결을 잃거나 둘 사이의 이벤트 토픽이 잘못 구성되면 스로틀링 판단이 노드마다 달라지고, 실제로 적용되는 한도가 공표된 정책과 어긋나게 됩니다.
과제
종량제 등급의 소비자들이 구독 한도를 초과하고 있었지만, 간헐적으로만 발생했고 어느 한 노드에서도 재현되지 않았습니다. 게이트웨이 노드를 증설했는데, 새 노드의 트래픽 매니저 이벤트 수신기 구성이 기존 노드와 달라 스로틀 판단 이벤트가 모든 노드에 전달되지 않았습니다. 부하가 걸리면 이 차이는 더 벌어졌습니다.
환경
여러 게이트웨이 노드, 트래픽 매니저 계층, 공유 사용자 저장소로 구성된 Kubernetes 기반 WSO2 API Manager.
접근 방식
AceMQ는 트래픽 매니저에서 각 게이트웨이 노드까지 스로틀 판단 이벤트를 추적해 이벤트를 받지 못하는 노드를 찾아냈습니다. 이벤트 수신기 구성을 수정한 뒤, 각 노드에 의도적으로 트래픽을 보내 부하 상황에서 스로틀 일관성을 검증했습니다.
해결책
- 트래픽 매니저에서 각 게이트웨이 노드까지의 스로틀 판단 이벤트 흐름을 추적해 누락 지점 파악
- 스케일 아웃 중 추가된 게이트웨이 노드의 이벤트 수신기 및 토픽 구성 수정
- 모든 노드에서 정책이 동일하게 평가되도록 스로틀 정책 등급과 키 템플릿 정렬
- 트래픽 매니저 연결을 잃은 게이트웨이 노드의 장애 시 동작 정의
- 각 노드에 개별적으로 트래픽을 보내 부하 상황에서 실제 적용 한도 검증
- 향후 스케일 아웃 시 구성이 어긋나지 않도록 게이트웨이 노드 구성 템플릿화
성과
모든 게이트웨이 노드에서 실제 적용되는 스로틀링이 공표된 구독 등급과 일치하게 되었고, 게이트웨이 용량을 늘려도 더 이상 불일치가 다시 생길 위험이 없습니다.