Retour à tous les cas d'usage

RemédiationLogiciels / plateformes numériques

Des 502 intermittentes que les logs du service upstream n'ont jamais vues

Plateforme de commerce numérique

Remonter des erreurs 502 intermittentes sur la passerelle Kong jusqu'à des health checks actifs mal configurés et à une résolution DNS obsolète des noms de services upstream.

Présentation

Une erreur 502 dans Kong signifie que la passerelle n'a pas pu obtenir de réponse exploitable d'une cible upstream. La difficulté, c'est que l'upstream est souvent en parfaite santé — la passerelle s'adresse à une adresse qui n'existe plus, ou a écarté une cible saine parce que le health check ne vérifiait pas la bonne chose.

Défi

Une part faible mais persistante des requêtes renvoyait une erreur 502 sans aucune entrée correspondante dans les logs de l'application upstream, ce qui désignait non pas l'application, mais la vision qu'avait la passerelle de ses cibles. Le health check actif était configuré sur un chemin qui renvoyait 401 aux sondes non authentifiées : le circuit breaker de Kong écartait donc des cibles saines. Par ailleurs, le cache DNS de Kong conservait les IP upstream résolues au-delà de leur TTL, si bien que la passerelle continuait d'appeler des pods qui avaient été replanifiés ailleurs.

Environnement

Passerelle Kong sur Kubernetes devant des microservices conteneurisés, avec des upstreams définis par des noms DNS de services et des pods régulièrement replanifiés.

Approche

AceMQ a corrélé les logs d'accès de la passerelle et le journal d'erreurs de Kong avec les événements du cycle de vie des pods upstream, afin d'aligner les rafales de 502 sur les replanifications. Cela a établi le comportement du cache DNS comme première cause, et l'authentification exigée par le point de terminaison du health check comme seconde. Les deux ont été corrigées, puis validées lors d'un redémarrage progressif provoqué délibérément.

Solution

  1. Corrélation des logs d'erreurs de Kong avec les événements du cycle de vie des pods upstream pour aligner dans le temps les rafales de 502 sur les replanifications
  2. Réorientation des health checks actifs vers un point de terminaison de liveness non authentifié, qui renvoie un véritable signal de santé
  3. Réglage de la résolution DNS et de la gestion des TTL pour que la passerelle cesse d'appeler des adresses upstream obsolètes
  4. Ajustement des seuils des health checks passifs pour que des erreurs transitoires n'écartent plus des cibles saines
  5. Validation de la correction lors d'un redémarrage progressif forcé de chaque service upstream

Résultat obtenu

Les erreurs 502 intermittentes ont été éliminées, et les déploiements progressifs des services upstream ne provoquent plus de pic d'erreurs sur la passerelle.

Technologies

KongKubernetesNGINXPostgreSQLDocker

Confronté à un incident de production Kong ?

Les ingénieurs Kong seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.