Zurück zu allen Kundenbeispielen

SupportSoftware / Digitale Plattformen

Rate Limits, die das N-Fache des Kontingents durchlassen – N ist Ihre Knotenzahl

B2B-SaaS-Anbieter

Korrektur von Rate Limits, die ein Vielfaches des konfigurierten Kontingents durchließen, weil das Plugin auf einem Gateway mit mehreren Knoten die lokale Counter Policy nutzte.

Überblick

Das Rate-Limiting-Plugin von Kong nutzt standardmäßig die lokale Counter Policy, die Zählerstände im Speicher jedes einzelnen Knotens hält. Auf einem einzelnen Knoten ist das korrekt. Auf einem horizontal skalierten Gateway setzt dagegen jeder Knoten das volle Limit unabhängig durch – die effektive Obergrenze ist also das konfigurierte Limit mal Knotenzahl.

Herausforderung

Kunden mit nutzungsbasiertem Tarif überschritten regelmäßig ihr dokumentiertes Request-Kontingent, und eine Partnerintegration überlastete einen nachgelagerten Service, den das Rate Limit eigentlich schützen sollte. In der Plugin-Konfiguration sah das Limit korrekt aus. Das Gateway war einige Monate zuvor von zwei auf acht Replicas skaliert worden, ohne dass jemand die Counter Policy überprüft hatte.

Umgebung

Kong auf Kubernetes mit horizontal skalierter Data Plane, Rate Limiting je Consumer, Redis im Cluster verfügbar.

Vorgehen

AceMQ reproduzierte die Überschreitung mit einem kontrollierten Lasttest, der Requests gezielt auf die Replicas verteilte, und bestätigte, dass das effektive Limit mit der Zahl der Replicas skalierte. Wir verlagerten den Zählerspeicher in ein gemeinsames Redis-Backend und testeten anschließend den Redis-Pfad selbst unter Last, denn ein gemeinsamer Zähler fügt dem Request-Pfad einen Netzwerk-Hop hinzu und braucht ein eigenes, klar definiertes Timeout- und Fehlerverhalten.

Lösung

  1. Kontingentüberschreitung mit einem über die Gateway-Replicas verteilten Lasttest reproduziert
  2. Rate-Limit-Zähler von der lokalen Policy auf einen gemeinsamen, Redis-gestützten Speicher umgestellt
  3. Redis-Timeout und fehlertolerantes Verhalten festgelegt, sodass ein Ausfall des Zählerspeichers vorhersehbar degradiert
  4. Limits je Consumer, je Service und globale Limits getrennt, damit keines ein anderes verdeckt
  5. Den Pfad mit gemeinsamem Zähler unter Last getestet, um zu bestätigen, dass die zusätzliche Latenz im Budget des Gateways bleibt

Resultat

Die durchgesetzten Limits entsprechen jetzt unabhängig von der Zahl der Replicas den konfigurierten, und der nachgelagerte Service, den das Limit schützen soll, wird nicht mehr vom Traffic eines einzelnen Partners überrollt.

Technologien

KongRedisKubernetesPostgreSQL

Brauchen Sie Expertensupport für Kong?

Die Senior Engineers von AceMQ für Kong haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.