Voltar para todos os casos de uso

CorreçãoSoftware / plataformas digitais

Erros 502 intermitentes que os logs do serviço upstream nunca viram

Plataforma de comércio digital

Como rastreamos erros 502 intermitentes no gateway Kong até health checks ativos mal configurados e uma resolução DNS desatualizada dos nomes de serviços upstream.

Visão geral

Um 502 no Kong significa que o gateway não conseguiu obter uma resposta utilizável de um target upstream. A parte difícil é que o upstream muitas vezes está saudável: o gateway está falando com um endereço que já não existe, ou expulsou um target saudável porque o health check estava verificando a coisa errada.

Desafio

Uma parcela pequena, mas persistente, das requisições retornava 502 sem nenhum registro correspondente nos logs da aplicação upstream, o que afastava a suspeita da aplicação e a direcionava para a visão que o gateway tinha dos seus targets. O health check ativo estava configurado em um path que retornava 401 para sondagens sem autenticação, então o circuit breaker do Kong expulsava targets saudáveis. Além disso, o cache DNS do Kong mantinha os IPs resolvidos dos upstreams além do TTL, de modo que ele continuava discando para pods que já tinham sido reagendados.

Ambiente

Gateway Kong em Kubernetes à frente de microsserviços em contêineres, com upstreams definidos por nomes DNS de serviço e pods sendo reagendados com frequência.

Abordagem

A AceMQ correlacionou os logs de acesso do gateway e o log de erros do próprio Kong com os eventos de ciclo de vida dos pods upstream para alinhar as rajadas de 502 aos reagendamentos. Isso estabeleceu o comportamento do cache DNS como uma das causas, e a exigência de autenticação do endpoint de health check como a outra. As duas foram corrigidas e validadas com um rolling restart proposital.

Solução

  1. Correlação dos logs de erro do Kong com os eventos de ciclo de vida dos pods upstream para alinhar no tempo as rajadas de 502 aos reagendamentos
  2. Health checks ativos redirecionados para um endpoint de liveness sem autenticação, que retorna um sinal de saúde real
  3. Ajuste da resolução DNS e do tratamento de TTL para que o gateway pare de discar para endereços upstream desatualizados
  4. Ajuste dos limites dos health checks passivos para que erros transitórios deixem de expulsar targets saudáveis
  5. Validação da correção com um rolling restart forçado de todos os serviços upstream

Resultado obtido

Os erros 502 intermitentes foram eliminados, e os deploys rolling dos serviços upstream deixaram de gerar picos de erro no gateway.

Tecnologias

KongKubernetesNGINXPostgreSQLDocker

Enfrentando um problema de produção com Kong?

Os engenheiros Kong sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.