Visão geral
Funções Lambda conectadas à VPC precisam de interfaces de rede e de endereços IP da sub-rede para escalar. Quando uma sub-rede pequena é compartilhada com outras cargas de trabalho, um pico de invocações simultâneas pode esgotar os endereços disponíveis, e a função falha antes mesmo de o seu código rodar; é por isso que os logs da aplicação não mostram nada.
Desafio
Nos picos da abertura do mercado, parte das invocações falhava com erros de rede e sem nenhuma saída nos logs da aplicação. As funções estavam conectadas a duas sub-redes pequenas, compartilhadas com outros serviços. Além disso, cada invocação abria uma nova conexão com o banco de dados no escopo do handler, em vez de reutilizar uma existente, então um pico esgotava ao mesmo tempo os endereços da sub-rede e o limite de conexões do banco.
Ambiente
Funções AWS Lambda conectadas à VPC acessando bancos de dados privados e serviços internos, com picos de tráfego acentuados ao longo do dia. A AceMQ atua na configuração das funções, no design de rede e no tratamento de conexões do cliente; a plataforma AWS em si é da Amazon.
Abordagem
A AceMQ correlacionou as invocações com falha com a utilização de endereços da sub-rede e com a concorrência, para confirmar que a causa era o esgotamento, e não uma falha da aplicação. Em seguida, atacamos os dois lados: espaço de endereços e capacidade de interfaces suficientes para absorver o pico, e reutilização de conexões para que o banco de dados não seja sobrecarregado pelo mesmo pico.
Solução
- Correlação das falhas de invocação com a utilização de IPs da sub-rede e com a concorrência, para confirmar o esgotamento
- Migração das funções para sub-redes dedicadas e bem dimensionadas, distribuídas em zonas de disponibilidade adicionais
- Transferência da abertura de conexão com o banco de dados para fora do handler, para que as invocações a quente reutilizem conexões
- Introdução de uma camada de proxy de conexões para que a concorrência dos picos não se traduza em conexões diretas com o banco de dados
- Configuração de concorrência reservada e provisionada onde o formato dos picos justificava
- Inclusão de alertas sobre a utilização de endereços da sub-rede e sobre as métricas de throttling e de erros de cada função
Resultado obtido
As falhas na abertura do mercado acabaram, e o número de conexões com o banco de dados durante os picos caiu drasticamente depois que as conexões passaram a ser reutilizadas, em vez de criadas a cada invocação.