Voltar a todos os casos de utilização

CorreçãoSoftware / Plataformas digitais

Erros 502 intermitentes que os logs do serviço upstream nunca viram

Plataforma de comércio digital

Rastrear erros 502 intermitentes no gateway Kong até health checks ativos mal configurados e a uma resolução DNS desatualizada dos nomes dos serviços upstream.

Visão geral

Um 502 no Kong significa que o gateway não conseguiu obter uma resposta utilizável de um target upstream. O difícil é que, muitas vezes, o upstream está saudável: o gateway está a falar com um endereço que já não existe, ou expulsou um target saudável porque o health check estava a verificar a coisa errada.

Desafio

Uma parte pequena mas persistente dos pedidos devolvia 502 sem entradas correspondentes nos logs da aplicação upstream, o que afastava as suspeitas da aplicação e as apontava para a perceção que o gateway tinha dos seus targets. O health check ativo estava configurado para um path que devolvia 401 às sondas não autenticadas, pelo que o circuit breaker do Kong expulsava targets saudáveis. Por outro lado, a cache de DNS do Kong mantinha os IPs upstream resolvidos para lá do seu TTL, pelo que continuava a ligar para pods que tinham sido reagendados.

Ambiente

Gateway Kong em Kubernetes à frente de microsserviços em contentores, com upstreams definidos por nomes DNS de serviços e pods reagendados com regularidade.

Abordagem

A AceMQ correlacionou os access logs do gateway e o error log do próprio Kong com os eventos do ciclo de vida dos pods upstream, para fazer coincidir as rajadas de 502 com os reagendamentos. Isso estabeleceu o comportamento da cache de DNS como uma das causas e a exigência de autenticação do endpoint de health check como a outra. Ambas foram corrigidas e validadas com um rolling restart deliberado.

Solução

  1. Correlação dos error logs do Kong com os eventos do ciclo de vida dos pods upstream para alinhar no tempo as rajadas de 502 com os reagendamentos
  2. Health checks ativos reapontados para um endpoint de liveness não autenticado que devolve um verdadeiro sinal de saúde
  3. Afinação da resolução DNS e do tratamento do TTL para que o gateway deixe de ligar para endereços upstream obsoletos
  4. Ajuste dos limiares dos health checks passivos para que os erros transitórios deixem de expulsar targets saudáveis
  5. Validação da correção com um rolling restart forçado de todos os serviços upstream

Resultado final

Os erros 502 intermitentes foram eliminados e os rolling deployments dos serviços upstream deixaram de provocar picos de erros no gateway.

Tecnologias

KongKubernetesNGINXPostgreSQLDocker

Tem um problema de produção com Kong?

Os engenheiros seniores de Kong da AceMQ já trataram exatamente este tipo de projeto. Quer precise de orientação de arquitetura, de correção prática ou de uma parceria de gestão contínua, estamos prontos para ajudar.