Voltar para todos os casos de uso

AvaliaçãoMultissetorial

A maioria das faturas de Lambda paga por memória que ninguém mediu

Empresa de assinaturas para o consumidor

Medição de memória, duração e concorrência em um grande ambiente Lambda para ajustar o tamanho de funções que tinham sido provisionadas no chute.

Visão geral

O custo do Lambda é a memória multiplicada pela duração, e as duas estão acopladas: mais memória significa proporcionalmente mais CPU, então uma função maior muitas vezes termina rápido o suficiente para custar menos. Quase nenhum ambiente é dimensionado com base em medições; as funções herdam o que o primeiro desenvolvedor digitou, e o ambiente se cristaliza em torno disso.

Desafio

A fatura do Lambda tinha virado uma linha relevante do orçamento sem um aumento correspondente de tráfego. A amostragem mostrou funções provisionadas com muita memória usando uma pequena fração dela, funções limitadas por CPU sufocadas por configurações baixas de memória e rodando muito mais tempo do que o necessário, funções ociosas esperando chamadas síncronas downstream enquanto eram cobradas pela espera e um conjunto de funções agendadas rodando com frequência sem fazer nada na maioria das invocações.

Ambiente

Um grande ambiente AWS Lambda com cargas de trabalho atrás de APIs, orientadas a eventos e agendadas. A AceMQ presta consultoria sobre a configuração e a arquitetura das funções do cliente; a AWS opera a plataforma.

Abordagem

A AceMQ extraiu das métricas da plataforma as distribuições de uso de memória e de duração por função e executou varreduras controladas de configurações de memória nas funções de maior gasto para encontrar o custo mínimo real de cada uma, em vez de presumir que menos memória é sempre mais barato. O desperdício no nível da arquitetura foi reportado separadamente do desperdício de configuração, porque eles se corrigem de formas diferentes.

Solução

  1. Criação de um modelo de custo por função a partir das distribuições medidas de uso de memória e de duração
  2. Varreduras de memória nas funções de maior gasto para localizar o verdadeiro custo mínimo de cada uma
  3. Identificação das funções limitadas por CPU em que aumentar a memória reduz o custo total
  4. Sinalização das funções cobradas enquanto ficam bloqueadas em chamadas síncronas downstream, como candidatas a um redesenho assíncrono
  5. Substituição de agendamentos de polling de alta frequência por gatilhos orientados a eventos, onde a origem permite
  6. Entrega de uma lista de mudanças priorizada, com a economia esperada e o risco de cada uma

Resultado obtido

O right-sizing das funções de maior gasto reduziu de forma significativa o gasto com Lambda sem nenhuma regressão de latência, e várias funções limitadas por CPU ficaram mais baratas e mais rápidas depois que a memória foi aumentada.

Tecnologias

AWS LambdaAmazon SQSDockerPostgreSQL

Pronto para um health check do AWS Lambda?

Os engenheiros AWS Lambda sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.