Überblick
Ein 502 in Kong bedeutet, dass das Gateway von einem Upstream-Target keine verwertbare Antwort erhalten hat. Das Schwierige daran: Der Upstream ist oft gesund – das Gateway spricht mit einer Adresse, die nicht mehr existiert, oder hat ein gesundes Target ausgeschlossen, weil der Health Check das Falsche geprüft hat.
Herausforderung
Ein kleiner, aber hartnäckiger Anteil der Requests lieferte 502, ohne passende Einträge in den Logs der Upstream-Anwendung – ein Hinweis, der weg von der Anwendung und hin zur Sicht des Gateways auf seine Targets führte. Der aktive Health Check war auf einen Pfad konfiguriert, der für nicht authentifizierte Probes 401 zurückgab, sodass der Circuit Breaker von Kong gesunde Targets ausschloss. Zusätzlich hielt der DNS-Cache von Kong aufgelöste Upstream-IPs über ihre TTL hinaus vor und wählte daher weiterhin Pods an, die längst neu eingeplant worden waren.
Umgebung
Kong-Gateway auf Kubernetes vor containerisierten Microservices; Upstreams über Service-DNS-Namen definiert, Pods werden regelmäßig neu eingeplant.
Vorgehen
AceMQ hat die Access Logs des Gateways und das Error Log von Kong mit den Lifecycle-Events der Upstream-Pods korreliert, um 502-Spitzen den Neueinplanungen zuzuordnen. Damit stand das DNS-Caching als eine Ursache fest, die Authentifizierungspflicht des Health-Check-Endpunkts als die andere. Beides wurde korrigiert und unter einem gezielt ausgelösten Rolling Restart validiert.
Lösung
- Korrelation der Kong-Error-Logs mit den Lifecycle-Events der Upstream-Pods, um 502-Spitzen zeitlich den Neueinplanungen zuzuordnen
- Aktive Health Checks auf einen nicht authentifizierten Liveness-Endpunkt umgestellt, der ein echtes Gesundheitssignal liefert
- DNS-Auflösung und TTL-Behandlung so abgestimmt, dass das Gateway keine veralteten Upstream-Adressen mehr anwählt
- Schwellenwerte der passiven Health Checks angepasst, damit vorübergehende Fehler keine gesunden Targets mehr ausschließen
- Validierung des Fixes unter einem erzwungenen Rolling Restart aller Upstream-Services
Resultat
Die sporadischen 502-Fehler sind beseitigt, und Rolling Deployments der Upstream-Services erzeugen am Gateway keine Fehlerspitze mehr.