Visão geral
Um 502 no Kong significa que o gateway não conseguiu obter uma resposta utilizável de um target upstream. O difícil é que, muitas vezes, o upstream está saudável: o gateway está a falar com um endereço que já não existe, ou expulsou um target saudável porque o health check estava a verificar a coisa errada.
Desafio
Uma parte pequena mas persistente dos pedidos devolvia 502 sem entradas correspondentes nos logs da aplicação upstream, o que afastava as suspeitas da aplicação e as apontava para a perceção que o gateway tinha dos seus targets. O health check ativo estava configurado para um path que devolvia 401 às sondas não autenticadas, pelo que o circuit breaker do Kong expulsava targets saudáveis. Por outro lado, a cache de DNS do Kong mantinha os IPs upstream resolvidos para lá do seu TTL, pelo que continuava a ligar para pods que tinham sido reagendados.
Ambiente
Gateway Kong em Kubernetes à frente de microsserviços em contentores, com upstreams definidos por nomes DNS de serviços e pods reagendados com regularidade.
Abordagem
A AceMQ correlacionou os access logs do gateway e o error log do próprio Kong com os eventos do ciclo de vida dos pods upstream, para fazer coincidir as rajadas de 502 com os reagendamentos. Isso estabeleceu o comportamento da cache de DNS como uma das causas e a exigência de autenticação do endpoint de health check como a outra. Ambas foram corrigidas e validadas com um rolling restart deliberado.
Solução
- Correlação dos error logs do Kong com os eventos do ciclo de vida dos pods upstream para alinhar no tempo as rajadas de 502 com os reagendamentos
- Health checks ativos reapontados para um endpoint de liveness não autenticado que devolve um verdadeiro sinal de saúde
- Afinação da resolução DNS e do tratamento do TTL para que o gateway deixe de ligar para endereços upstream obsoletos
- Ajuste dos limiares dos health checks passivos para que os erros transitórios deixem de expulsar targets saudáveis
- Validação da correção com um rolling restart forçado de todos os serviços upstream
Resultado final
Os erros 502 intermitentes foram eliminados e os rolling deployments dos serviços upstream deixaram de provocar picos de erros no gateway.