Torna a tutti i casi d'uso

SupportoServizi finanziari / Trading

Funzioni che non partono quando la subnet esaurisce gli indirizzi

Società di wealth management

Diagnosi dei fallimenti di invocazione di funzioni Lambda collegate a una VPC, causati dall'esaurimento delle ENI e degli indirizzi IP delle subnet durante lo scale-out, e della gestione delle connessioni che li aggravava.

Panoramica

Le funzioni Lambda collegate a una VPC hanno bisogno di interfacce di rete e di indirizzi IP della subnet per scalare. Quando una subnet piccola è condivisa con altri workload, un picco di invocazioni concorrenti può esaurire gli indirizzi disponibili, e la funzione fallisce prima ancora che il vostro codice venga eseguito: per questo i log applicativi non mostrano nulla.

Sfida

Durante i picchi di apertura dei mercati, una parte delle invocazioni falliva con errori di rete e senza alcun output nei log applicativi. Le funzioni erano collegate a due subnet piccole condivise con altri servizi. Inoltre ogni invocazione apriva una nuova connessione al database all'interno dell'handler anziché riutilizzarne una, per cui un picco esauriva contemporaneamente gli indirizzi della subnet e il limite di connessioni del database.

Ambiente

Funzioni AWS Lambda collegate a una VPC che accedono a database privati e servizi interni, con picchi di traffico intraday molto marcati. AceMQ interviene su configurazione delle funzioni, design di rete e gestione delle connessioni del cliente; la piattaforma AWS in sé è di Amazon.

Approccio

AceMQ ha correlato le invocazioni fallite con l'utilizzo degli indirizzi delle subnet e con la concorrenza, per confermare che la causa fosse l'esaurimento e non un errore applicativo. Abbiamo quindi agito su entrambi i fronti: spazio di indirizzamento e capacità di interfacce sufficienti ad assorbire il picco, e riutilizzo delle connessioni così che lo stesso picco non si abbatta sul database.

Soluzione

  1. Correlati i fallimenti delle invocazioni con l'utilizzo degli IP delle subnet e con la concorrenza, per confermarne l'esaurimento
  2. Funzioni spostate su subnet dedicate e adeguatamente dimensionate, distribuite su availability zone aggiuntive
  3. Apertura della connessione al database spostata fuori dall'handler, così che le invocazioni warm riutilizzino le connessioni
  4. Introdotto un livello di connection proxy, così che la concorrenza dei picchi non si traduca in connessioni dirette al database
  5. Reserved concurrency e provisioned concurrency impostate dove l'andamento dei picchi lo giustificava
  6. Aggiunti alert sull'utilizzo degli indirizzi delle subnet e sulle metriche di throttling ed errori a livello di funzione

Esito

I fallimenti all'apertura dei mercati sono cessati, e il numero di connessioni al database durante i picchi è crollato da quando le connessioni vengono riutilizzate anziché create a ogni invocazione.

Tecnologie

AWS LambdaPostgreSQLRedisDocker

Vi serve supporto specialistico per AWS Lambda?

Gli ingegneri AWS Lambda senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.