Przegląd
Plugin rate limiting w Kong domyślnie korzysta z polityki licznika local, która przechowuje liczniki w pamięci każdego węzła. Na pojedynczym węźle to działa poprawnie. W bramie skalowanej poziomo oznacza to, że każdy węzeł niezależnie egzekwuje pełny limit, więc faktyczny pułap to skonfigurowany limit pomnożony przez liczbę węzłów.
Wyzwanie
Klienci na planie rozliczanym według zużycia regularnie przekraczali udokumentowany limit żądań, a integracja partnera przeciążyła usługę, którą rate limiting miał chronić. W konfiguracji pluginu limit wyglądał poprawnie. Kilka miesięcy wcześniej bramę przeskalowano z dwóch do ośmiu replik i nikt nie wrócił do polityki licznika.
Środowisko
Kong na Kubernetes z poziomo skalowaną warstwą danych (data plane), rate limiting stosowany per konsument, Redis dostępny w klastrze.
Podejście
AceMQ odtworzyło przekroczenie limitu w kontrolowanym teście obciążeniowym, który rozkładał żądania na repliki, potwierdzając, że faktyczny limit skaluje się z liczbą replik. Przenieśliśmy magazyn liczników do współdzielonego backendu Redis, a następnie przetestowaliśmy obciążeniowo samą ścieżkę Redis, ponieważ współdzielony licznik dodaje do ścieżki żądania dodatkowy przeskok sieciowy i wymaga zdefiniowania własnych timeoutów i zachowania w razie awarii.
Rozwiązanie
- Odtworzenie przekroczenia limitu za pomocą testu obciążeniowego rozłożonego na repliki bramy
- Przeniesienie liczników rate limitingu z polityki local do współdzielonego magazynu opartego na Redis
- Zdefiniowanie timeoutów Redis i zachowania odpornego na awarie, aby niedostępność magazynu liczników prowadziła do przewidywalnej degradacji
- Rozdzielenie limitów per konsument, per usługa i globalnych, aby jeden nie maskował drugiego
- Test obciążeniowy ścieżki ze współdzielonym licznikiem w celu potwierdzenia, że dodatkowe opóźnienie mieści się w budżecie bramy
Efekt
Egzekwowane limity odpowiadają teraz skonfigurowanym niezależnie od liczby replik, a usługa, którą limit ma chronić, przestała być przeciążana ruchem pojedynczego partnera.