Voltar para todos os casos de uso

SuporteServiços financeiros / trading

Funções que não conseguem iniciar quando a sub-rede fica sem endereços

Gestora de patrimônio

Diagnóstico de falhas de invocação de funções Lambda conectadas à VPC causadas pelo esgotamento de ENIs e de IPs da sub-rede durante o scale-out, agravado pela forma como as conexões eram tratadas.

Visão geral

Funções Lambda conectadas à VPC precisam de interfaces de rede e de endereços IP da sub-rede para escalar. Quando uma sub-rede pequena é compartilhada com outras cargas de trabalho, um pico de invocações simultâneas pode esgotar os endereços disponíveis, e a função falha antes mesmo de o seu código rodar; é por isso que os logs da aplicação não mostram nada.

Desafio

Nos picos da abertura do mercado, parte das invocações falhava com erros de rede e sem nenhuma saída nos logs da aplicação. As funções estavam conectadas a duas sub-redes pequenas, compartilhadas com outros serviços. Além disso, cada invocação abria uma nova conexão com o banco de dados no escopo do handler, em vez de reutilizar uma existente, então um pico esgotava ao mesmo tempo os endereços da sub-rede e o limite de conexões do banco.

Ambiente

Funções AWS Lambda conectadas à VPC acessando bancos de dados privados e serviços internos, com picos de tráfego acentuados ao longo do dia. A AceMQ atua na configuração das funções, no design de rede e no tratamento de conexões do cliente; a plataforma AWS em si é da Amazon.

Abordagem

A AceMQ correlacionou as invocações com falha com a utilização de endereços da sub-rede e com a concorrência, para confirmar que a causa era o esgotamento, e não uma falha da aplicação. Em seguida, atacamos os dois lados: espaço de endereços e capacidade de interfaces suficientes para absorver o pico, e reutilização de conexões para que o banco de dados não seja sobrecarregado pelo mesmo pico.

Solução

  1. Correlação das falhas de invocação com a utilização de IPs da sub-rede e com a concorrência, para confirmar o esgotamento
  2. Migração das funções para sub-redes dedicadas e bem dimensionadas, distribuídas em zonas de disponibilidade adicionais
  3. Transferência da abertura de conexão com o banco de dados para fora do handler, para que as invocações a quente reutilizem conexões
  4. Introdução de uma camada de proxy de conexões para que a concorrência dos picos não se traduza em conexões diretas com o banco de dados
  5. Configuração de concorrência reservada e provisionada onde o formato dos picos justificava
  6. Inclusão de alertas sobre a utilização de endereços da sub-rede e sobre as métricas de throttling e de erros de cada função

Resultado obtido

As falhas na abertura do mercado acabaram, e o número de conexões com o banco de dados durante os picos caiu drasticamente depois que as conexões passaram a ser reutilizadas, em vez de criadas a cada invocação.

Tecnologias

AWS LambdaPostgreSQLRedisDocker

Precisa de suporte especializado em AWS Lambda?

Os engenheiros AWS Lambda sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.