Überblick
WSO2 API Manager kann Throttling entweder lokal je Gateway-Knoten oder zentral über den Traffic Manager auswerten. Verlieren Gateway-Knoten die Verbindung zum Traffic Manager oder sind die Event Topics dazwischen falsch konfiguriert, laufen die Throttling-Entscheidungen auseinander, und das durchgesetzte Limit entspricht nicht mehr der veröffentlichten Policy.
Herausforderung
Consumer in einer nutzungsbasierten Stufe überschritten ihre Subscription-Limits – aber nur sporadisch und auf keinem einzelnen Knoten reproduzierbar. Die Gateway-Knoten waren hochskaliert worden, und die Konfiguration des Traffic-Manager-Event-Receivers auf den neuen Knoten stimmte nicht mit der auf den ursprünglichen überein, sodass Throttle-Decision-Events nicht alle Knoten erreichten. Unter Last wurde die Abweichung größer.
Umgebung
WSO2 API Manager auf Kubernetes mit mehreren Gateway-Knoten, einer Traffic-Manager-Schicht und einem gemeinsamen User Store.
Vorgehen
AceMQ verfolgte die Throttle-Decision-Events vom Traffic Manager bis zu jedem Gateway-Knoten und identifizierte die Knoten, bei denen sie nicht ankamen. Wir korrigierten die Konfiguration der Event Receiver und validierten dann die Konsistenz des Throttlings unter Last, indem wir gezielt Traffic auf jeden einzelnen Knoten lenkten.
Lösung
- Fluss der Throttle-Decision-Events vom Traffic Manager zu jedem Gateway-Knoten verfolgt, um die Lücken zu finden
- Konfiguration von Event Receivern und Topics auf den beim Scale-out hinzugekommenen Gateway-Knoten korrigiert
- Throttling-Policy-Stufen und Key Templates vereinheitlicht, damit Policies auf allen Knoten identisch ausgewertet werden
- Fehlerverhalten für Gateway-Knoten festgelegt, die die Verbindung zum Traffic Manager verlieren
- Durchgesetzte Limits unter Last validiert, mit Traffic gezielt auf jeden einzelnen Knoten
- Konfiguration der Gateway-Knoten als Template hinterlegt, damit künftige Scale-outs nicht abdriften können
Resultat
Das durchgesetzte Throttling entspricht auf allen Gateway-Knoten den veröffentlichten Subscription-Stufen, und zusätzliche Gateway-Kapazität birgt nicht mehr das Risiko, die Abweichung wieder einzuführen.