Volver a todos los casos de uso

RemediaciónSoftware / Plataformas digitales

Errores 502 intermitentes que los logs del servicio upstream nunca vieron

Plataforma de comercio digital

Rastreo de errores 502 intermitentes en el gateway Kong hasta health checks activos mal configurados y una resolución DNS obsoleta de los nombres de servicio upstream.

Descripción general

Un 502 en Kong significa que el gateway no pudo obtener una respuesta utilizable de un target upstream. Lo difícil es que el upstream suele estar sano: el gateway está hablando con una dirección que ya no existe, o expulsó un target sano porque el health check estaba verificando lo que no debía.

Desafío

Una porción pequeña pero persistente de las solicitudes devolvía 502 sin entradas correspondientes en los logs de la aplicación upstream, lo que desviaba la sospecha de la aplicación hacia la visión que el gateway tenía de sus targets. El health check activo estaba configurado contra una ruta que devolvía 401 a las sondas sin autenticar, así que el circuit breaker de Kong expulsaba targets sanos. Por otro lado, la caché DNS de Kong conservaba las IPs resueltas de los upstreams más allá de su TTL, por lo que seguía conectándose a pods que ya se habían reprogramado.

Entorno

Gateway Kong en Kubernetes delante de microservicios en contenedores, con upstreams definidos por nombres DNS de servicio y pods que se reprogramaban con regularidad.

Enfoque

AceMQ correlacionó los logs de acceso del gateway y el log de errores de Kong con los eventos del ciclo de vida de los pods upstream para alinear las ráfagas de 502 con las reprogramaciones. Eso estableció el comportamiento de la caché DNS como una de las causas, y el requisito de autenticación del endpoint del health check como la otra. Ambas se corrigieron y se validaron con un reinicio progresivo deliberado.

Solución

  1. Correlación de los logs de errores de Kong con los eventos del ciclo de vida de los pods upstream para alinear en el tiempo las ráfagas de 502 con las reprogramaciones
  2. Health checks activos redirigidos a un endpoint de liveness sin autenticación que devuelve una señal de salud real
  3. Ajuste de la resolución DNS y del manejo de TTL para que el gateway deje de conectarse a direcciones upstream obsoletas
  4. Ajuste de los umbrales de los health checks pasivos para que los errores transitorios ya no expulsen targets sanos
  5. Validación de la corrección con un reinicio progresivo forzado de todos los servicios upstream

Resultado final

Se eliminaron los errores 502 intermitentes, y los despliegues progresivos de los servicios upstream dejaron de producir picos de errores en el gateway.

Tecnologías

KongKubernetesNGINXPostgreSQLDocker

¿Enfrenta un problema de Kong en producción?

Los ingenieros sénior de Kong de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.