Retour à tous les cas d'usage

SupportServices financiers / trading

Des fonctions qui ne démarrent pas quand le sous-réseau manque d'adresses

Société de gestion de patrimoine

Diagnostic d'échecs d'invocation de fonctions Lambda rattachées à un VPC, causés par l'épuisement des ENI et des adresses IP des sous-réseaux lors des montées en charge, et par une gestion des connexions qui aggravait le problème.

Présentation

Les fonctions Lambda rattachées à un VPC ont besoin d'interfaces réseau et d'adresses IP de sous-réseau pour monter en charge. Lorsqu'un petit sous-réseau est partagé avec d'autres charges, une rafale d'invocations simultanées peut épuiser les adresses disponibles, et la fonction échoue avant même que votre code ne s'exécute — c'est pourquoi les logs applicatifs ne montrent rien.

Défi

Lors des pics d'ouverture des marchés, une partie des invocations échouait avec des erreurs réseau, sans aucune sortie dans les logs applicatifs. Les fonctions étaient rattachées à deux petits sous-réseaux partagés avec d'autres services. Chaque invocation ouvrait en outre une nouvelle connexion à la base de données au niveau du handler au lieu d'en réutiliser une : une rafale épuisait donc simultanément les adresses des sous-réseaux et la limite de connexions de la base.

Environnement

Fonctions AWS Lambda rattachées à un VPC, accédant à des bases de données privées et à des services internes, avec de forts pics de trafic en cours de journée. AceMQ intervient sur la configuration des fonctions, la conception réseau et la gestion des connexions du client — la plateforme AWS elle-même relève d'Amazon.

Approche

AceMQ a corrélé les invocations en échec avec le taux d'utilisation des adresses des sous-réseaux et la concurrence, pour confirmer que l'épuisement était bien la cause et non un défaut applicatif. Nous avons ensuite traité les deux aspects : suffisamment d'espace d'adressage et de capacité d'interfaces pour absorber la rafale, et la réutilisation des connexions pour que la même rafale ne submerge pas la base de données.

Solution

  1. Corrélation des échecs d'invocation avec l'utilisation des IP des sous-réseaux et la concurrence, pour confirmer l'épuisement
  2. Migration des fonctions vers des sous-réseaux dédiés et correctement dimensionnés, répartis sur des zones de disponibilité supplémentaires
  3. Initialisation de la connexion à la base de données sortie du handler, pour que les invocations à chaud réutilisent les connexions
  4. Mise en place d'une couche de proxy de connexions, pour que la concurrence des rafales ne se traduise pas en connexions directes à la base
  5. Configuration d'une concurrence réservée et provisionnée là où le profil des rafales le justifiait
  6. Ajout d'alertes sur l'utilisation des adresses des sous-réseaux ainsi que sur les métriques de throttling et d'erreurs de chaque fonction

Résultat obtenu

Les échecs à l'ouverture des marchés ont cessé, et le nombre de connexions à la base de données pendant les rafales a chuté de façon spectaculaire une fois les connexions réutilisées au lieu d'être créées à chaque invocation.

Technologies

AWS LambdaPostgreSQLRedisDocker

Besoin d'un support AWS Lambda expert ?

Les ingénieurs AWS Lambda seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.