Überblick
Das Rate-Limiting-Plugin von Kong nutzt standardmäßig die lokale Counter Policy, die Zählerstände im Speicher jedes einzelnen Knotens hält. Auf einem einzelnen Knoten ist das korrekt. Auf einem horizontal skalierten Gateway setzt dagegen jeder Knoten das volle Limit unabhängig durch – die effektive Obergrenze ist also das konfigurierte Limit mal Knotenzahl.
Herausforderung
Kunden mit nutzungsbasiertem Tarif überschritten regelmäßig ihr dokumentiertes Request-Kontingent, und eine Partnerintegration überlastete einen nachgelagerten Service, den das Rate Limit eigentlich schützen sollte. In der Plugin-Konfiguration sah das Limit korrekt aus. Das Gateway war einige Monate zuvor von zwei auf acht Replicas skaliert worden, ohne dass jemand die Counter Policy überprüft hatte.
Umgebung
Kong auf Kubernetes mit horizontal skalierter Data Plane, Rate Limiting je Consumer, Redis im Cluster verfügbar.
Vorgehen
AceMQ reproduzierte die Überschreitung mit einem kontrollierten Lasttest, der Requests gezielt auf die Replicas verteilte, und bestätigte, dass das effektive Limit mit der Zahl der Replicas skalierte. Wir verlagerten den Zählerspeicher in ein gemeinsames Redis-Backend und testeten anschließend den Redis-Pfad selbst unter Last, denn ein gemeinsamer Zähler fügt dem Request-Pfad einen Netzwerk-Hop hinzu und braucht ein eigenes, klar definiertes Timeout- und Fehlerverhalten.
Lösung
- Kontingentüberschreitung mit einem über die Gateway-Replicas verteilten Lasttest reproduziert
- Rate-Limit-Zähler von der lokalen Policy auf einen gemeinsamen, Redis-gestützten Speicher umgestellt
- Redis-Timeout und fehlertolerantes Verhalten festgelegt, sodass ein Ausfall des Zählerspeichers vorhersehbar degradiert
- Limits je Consumer, je Service und globale Limits getrennt, damit keines ein anderes verdeckt
- Den Pfad mit gemeinsamem Zähler unter Last getestet, um zu bestätigen, dass die zusätzliche Latenz im Budget des Gateways bleibt
Resultat
Die durchgesetzten Limits entsprechen jetzt unabhängig von der Zahl der Replicas den konfigurierten, und der nachgelagerte Service, den das Limit schützen soll, wird nicht mehr vom Traffic eines einzelnen Partners überrollt.