Überblick
Jedes Kong-Plugin läuft im Request-Pfad. Eine Kette, die über zwei Jahre von verschiedenen Teams zusammengestellt wurde, kann leicht mehr Latenz hinzufügen als der Upstream-Service, dem sie vorgeschaltet ist – und selbst geschriebene Lua-Plugins mit blockierenden Netzwerkaufrufen sind die üblichen Verdächtigen.
Herausforderung
Die p99-Latenz des Gateways war stetig gestiegen, ohne dass sich ein einzelnes Deployment als Ursache ausmachen ließ. Die Plugin-Kette umfasste mehrere Authentifizierungs-Plugins mit sich überschneidenden Aufgaben, ein selbst geschriebenes Lua-Plugin mit einem synchronen Lookup gegen einen externen Service und Logging-Plugins, die in ein Ziel schrieben, das sich zeitweise staute.
Umgebung
Kong auf Kubernetes vor Services zur Zahlungsautorisierung mit strengen Latenzbudgets von Ende zu Ende.
Vorgehen
AceMQ instrumentierte das Gateway so, dass sich die Latenz pro Plugin und pro Phase zuordnen ließ, statt die Kette als eine einzige Zahl zu betrachten, und führte anschließend kontrollierte Vergleiche mit einzeln deaktivierten Plugins durch. So ließen sich die Plugins, die tatsächlich Zeit kosten, von denen trennen, die nur verdächtig wirkten.
Lösung
- Zuordnung der Request-Latenz pro Plugin und pro Ausführungsphase statt zur Kette als Ganzes
- Kontrollierte A/B-Vergleiche mit einzeln deaktivierten Plugins unter produktionsnaher Last
- Identifikation eines selbst geschriebenen Lua-Plugins mit einem blockierenden externen Aufruf in der Access-Phase
- Zusammenführung sich überschneidender Authentifizierungs-Plugins zu einem einzigen verifizierten Pfad
- Empfehlung von asynchronem oder gepuffertem Logging dort, wo ein gestautes Ziel die Tail Latency erhöhte
- Bereitstellung eines Latenzbudgets pro Plugin, das neue Plugins einhalten müssen
Resultat
Die vom Gateway verursachte Latenz im p99 sank deutlich, nachdem das blockierende selbst geschriebene Plugin überarbeitet und die Authentifizierungskette zusammengeführt worden war. Zudem verfügt das Team nun über ein Latenzbudget, an dem es künftige Plugins messen kann.