Présentation
Les fonctions Lambda rattachées à un VPC ont besoin d'interfaces réseau et d'adresses IP de sous-réseau pour monter en charge. Lorsqu'un petit sous-réseau est partagé avec d'autres charges, une rafale d'invocations simultanées peut épuiser les adresses disponibles, et la fonction échoue avant même que votre code ne s'exécute — c'est pourquoi les logs applicatifs ne montrent rien.
Défi
Lors des pics d'ouverture des marchés, une partie des invocations échouait avec des erreurs réseau, sans aucune sortie dans les logs applicatifs. Les fonctions étaient rattachées à deux petits sous-réseaux partagés avec d'autres services. Chaque invocation ouvrait en outre une nouvelle connexion à la base de données au niveau du handler au lieu d'en réutiliser une : une rafale épuisait donc simultanément les adresses des sous-réseaux et la limite de connexions de la base.
Environnement
Fonctions AWS Lambda rattachées à un VPC, accédant à des bases de données privées et à des services internes, avec de forts pics de trafic en cours de journée. AceMQ intervient sur la configuration des fonctions, la conception réseau et la gestion des connexions du client — la plateforme AWS elle-même relève d'Amazon.
Approche
AceMQ a corrélé les invocations en échec avec le taux d'utilisation des adresses des sous-réseaux et la concurrence, pour confirmer que l'épuisement était bien la cause et non un défaut applicatif. Nous avons ensuite traité les deux aspects : suffisamment d'espace d'adressage et de capacité d'interfaces pour absorber la rafale, et la réutilisation des connexions pour que la même rafale ne submerge pas la base de données.
Solution
- Corrélation des échecs d'invocation avec l'utilisation des IP des sous-réseaux et la concurrence, pour confirmer l'épuisement
- Migration des fonctions vers des sous-réseaux dédiés et correctement dimensionnés, répartis sur des zones de disponibilité supplémentaires
- Initialisation de la connexion à la base de données sortie du handler, pour que les invocations à chaud réutilisent les connexions
- Mise en place d'une couche de proxy de connexions, pour que la concurrence des rafales ne se traduise pas en connexions directes à la base
- Configuration d'une concurrence réservée et provisionnée là où le profil des rafales le justifiait
- Ajout d'alertes sur l'utilisation des adresses des sous-réseaux ainsi que sur les métriques de throttling et d'erreurs de chaque fonction
Résultat obtenu
Les échecs à l'ouverture des marchés ont cessé, et le nombre de connexions à la base de données pendant les rafales a chuté de façon spectaculaire une fois les connexions réutilisées au lieu d'être créées à chaque invocation.