Voltar para todos os casos de uso

ConsultoriaMultissetorial

Escolher o event source certo antes de escrever o handler

Empresa de tecnologia para frete e transporte

Design de event source mappings, batching, ordenação e tratamento de falhas para um ambiente Lambda que tinha crescido sem uma arquitetura de eventos consistente.

Visão geral

As decisões difíceis em uma arquitetura Lambda são tomadas no event source, não no handler: fila ou stream, tamanho e janela do batch, garantias de ordenação, limites de concorrência e o que acontece com uma mensagem que não pode ser processada. Errar nessas escolhas gera problemas que parecem bugs da aplicação.

Desafio

O ambiente misturava filas e streams sem nenhuma regra clara sobre quando usar cada um. Cargas sensíveis à ordenação rodavam em fontes que não ofereciam nenhuma garantia de ordem, os tamanhos de batch ficavam nos valores padrão independentemente do custo por registro, a concorrência ilimitada de algumas funções sobrecarregava um sistema legado downstream e o tratamento de falhas variava de função para função, de modo que os operadores não tinham uma forma consistente de fazer a recuperação.

Ambiente

AWS Lambda consumindo filas, streams e sistemas de mensageria, integrando uma combinação de serviços modernos e um backend legado com capacidade limitada. A AceMQ desenha a arquitetura de eventos do cliente na plataforma; a AWS opera a plataforma.

Abordagem

A AceMQ classificou cada carga de trabalho por requisito de ordenação, throughput, custo de processamento por registro e capacidade downstream e, em seguida, associou cada classe a um event source adequado, com semântica definida de batching, concorrência e falhas. Os limites de concorrência foram definidos explicitamente onde um sistema downstream tem um teto rígido, porque essa é uma decisão de design, e não um ajuste deixado para depois.

Solução

  1. Classificação das cargas de trabalho por requisito de ordenação, throughput, custo por registro e capacidade downstream
  2. Definição do event source que cada classe de carga deve usar, com a justificativa documentada
  3. Definição do tamanho e da janela de batch por carga de trabalho, em vez de manter os padrões da plataforma
  4. Aplicação de reserved concurrency para proteger o backend legado de capacidade limitada contra picos
  5. Padronização do tratamento de falhas com destinos de dead-letter e destinos on-failure em todo o ambiente
  6. Definição de um padrão de idempotência para que a entrega at-least-once seja segura por padrão

Resultado obtido

O backend legado deixou de ser sobrecarregado pelos picos de tráfego, as cargas sensíveis à ordenação passaram para fontes que realmente garantem a ordem e a recuperação de falhas virou um procedimento único e documentado, em vez de uma investigação função por função.

Tecnologias

AWS LambdaAmazon SQSKafkaRabbitMQDocker

Precisa de orientação de arquitetura para AWS Lambda?

Os engenheiros AWS Lambda sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.