Descripción general
Un 502 en Kong significa que el gateway no ha podido obtener una respuesta útil de un target upstream. Lo difícil es que el upstream suele estar sano: el gateway está hablando con una dirección que ya no existe, o ha expulsado un target sano porque el health check comprobaba lo que no debía.
Reto
Una proporción pequeña pero persistente de las solicitudes devolvía un 502 sin ninguna entrada correspondiente en los logs de la aplicación upstream, lo que apuntaba lejos de la aplicación y hacia la visión que el gateway tenía de sus targets. El health check activo estaba configurado contra una ruta que devolvía 401 a las sondas no autenticadas, así que el circuit breaker de Kong expulsaba targets sanos. Por otro lado, la caché DNS de Kong conservaba las IP resueltas de los upstreams más allá de su TTL, de modo que seguía llamando a pods que se habían reprogramado.
Entorno
Gateway Kong en Kubernetes delante de microservicios en contenedores, con upstreams definidos por nombres DNS de servicio y pods que se reprograman con regularidad.
Enfoque
AceMQ correlacionó los logs de acceso del gateway y el propio log de errores de Kong con los eventos del ciclo de vida de los pods upstream para hacer coincidir las ráfagas de 502 con las reprogramaciones. Así se estableció que el comportamiento de la caché DNS era una de las causas, y que la autenticación exigida por el endpoint del health check era la otra. Ambas se corrigieron y se validaron con un reinicio escalonado provocado a propósito.
Solución
- Correlación de los logs de errores de Kong con los eventos del ciclo de vida de los pods upstream para alinear en el tiempo las ráfagas de 502 con las reprogramaciones
- Redirección de los health checks activos a un endpoint de liveness sin autenticación que devuelve una señal de salud real
- Ajuste de la resolución DNS y del tratamiento de los TTL para que el gateway deje de llamar a direcciones upstream obsoletas
- Ajuste de los umbrales de los health checks pasivos para que los errores transitorios dejen de expulsar targets sanos
- Validación de la corrección con un reinicio escalonado forzado de todos los servicios upstream
Resultado final
Los errores 502 intermitentes desaparecieron, y los despliegues escalonados de los servicios upstream dejaron de provocar un pico de errores en el gateway.