Panoramica
Le funzioni Lambda collegate a una VPC hanno bisogno di interfacce di rete e di indirizzi IP della subnet per scalare. Quando una subnet piccola è condivisa con altri workload, un picco di invocazioni concorrenti può esaurire gli indirizzi disponibili, e la funzione fallisce prima ancora che il vostro codice venga eseguito: per questo i log applicativi non mostrano nulla.
Sfida
Durante i picchi di apertura dei mercati, una parte delle invocazioni falliva con errori di rete e senza alcun output nei log applicativi. Le funzioni erano collegate a due subnet piccole condivise con altri servizi. Inoltre ogni invocazione apriva una nuova connessione al database all'interno dell'handler anziché riutilizzarne una, per cui un picco esauriva contemporaneamente gli indirizzi della subnet e il limite di connessioni del database.
Ambiente
Funzioni AWS Lambda collegate a una VPC che accedono a database privati e servizi interni, con picchi di traffico intraday molto marcati. AceMQ interviene su configurazione delle funzioni, design di rete e gestione delle connessioni del cliente; la piattaforma AWS in sé è di Amazon.
Approccio
AceMQ ha correlato le invocazioni fallite con l'utilizzo degli indirizzi delle subnet e con la concorrenza, per confermare che la causa fosse l'esaurimento e non un errore applicativo. Abbiamo quindi agito su entrambi i fronti: spazio di indirizzamento e capacità di interfacce sufficienti ad assorbire il picco, e riutilizzo delle connessioni così che lo stesso picco non si abbatta sul database.
Soluzione
- Correlati i fallimenti delle invocazioni con l'utilizzo degli IP delle subnet e con la concorrenza, per confermarne l'esaurimento
- Funzioni spostate su subnet dedicate e adeguatamente dimensionate, distribuite su availability zone aggiuntive
- Apertura della connessione al database spostata fuori dall'handler, così che le invocazioni warm riutilizzino le connessioni
- Introdotto un livello di connection proxy, così che la concorrenza dei picchi non si traduca in connessioni dirette al database
- Reserved concurrency e provisioned concurrency impostate dove l'andamento dei picchi lo giustificava
- Aggiunti alert sull'utilizzo degli indirizzi delle subnet e sulle metriche di throttling ed errori a livello di funzione
Esito
I fallimenti all'apertura dei mercati sono cessati, e il numero di connessioni al database durante i picchi è crollato da quando le connessioni vengono riutilizzate anziché create a ogni invocazione.