Volver a todos los casos de uso

ConsultoríaMultisectorial

Elegir la fuente de eventos correcta antes de escribir el handler

Empresa de tecnología para carga y transporte

Diseño del event-source mapping, el procesamiento por lotes, el orden y el manejo de fallas para un conjunto de funciones Lambda que había crecido sin una arquitectura de eventos coherente.

Descripción general

Las decisiones difíciles de una arquitectura con Lambda se toman en la fuente de eventos, no en el handler: cola o stream, tamaño y ventana de los lotes, garantías de orden, límites de concurrencia y qué pasa con un mensaje que no se puede procesar. Equivocarse en esto produce problemas que parecen bugs de la aplicación.

Desafío

El entorno mezclaba colas y streams sin una regla clara sobre cuándo usar cada uno. Cargas de trabajo sensibles al orden corrían sobre fuentes que no daban ninguna garantía de orden, los tamaños de lote se dejaban en sus valores predeterminados sin importar el costo por registro, la concurrencia sin límite de algunas funciones saturaba un sistema heredado aguas abajo y el manejo de fallas variaba de una función a otra, de modo que los operadores no tenían una forma uniforme de recuperarse.

Entorno

AWS Lambda consumiendo colas, streams y sistemas de mensajería, con integración entre servicios modernos y un backend heredado de capacidad limitada. AceMQ diseña la arquitectura de eventos del cliente sobre la plataforma; AWS opera la plataforma.

Enfoque

AceMQ clasificó cada carga de trabajo según su requisito de orden, su throughput, su costo de procesamiento por registro y la capacidad aguas abajo, y luego asignó a cada clase una fuente de eventos adecuada con una semántica definida de lotes, concurrencia y fallas. Los límites de concurrencia se fijaron de forma explícita donde un sistema aguas abajo tiene un techo estricto, porque es una decisión de diseño y no un ajuste para después.

Solución

  1. Clasificación de las cargas de trabajo según requisito de orden, throughput, costo por registro y capacidad aguas abajo
  2. Definición de la fuente de eventos que debe usar cada clase de carga de trabajo, con la justificación documentada
  3. Configuración del tamaño de lote y de la ventana de procesamiento por lotes para cada carga de trabajo, en lugar de dejar los valores predeterminados de la plataforma
  4. Aplicación de reserved concurrency para proteger de las ráfagas al backend heredado de capacidad limitada
  5. Estandarización del manejo de fallas en todo el entorno con destinos dead-letter y destinos on-failure
  6. Definición de un patrón de idempotencia para que la entrega at-least-once sea segura por defecto

Resultado final

El backend heredado dejó de saturarse con las ráfagas de tráfico, las cargas de trabajo sensibles al orden pasaron a fuentes que realmente garantizan el orden y la recuperación ante fallas se convirtió en un único procedimiento documentado en lugar de una investigación función por función.

Tecnologías

AWS LambdaAmazon SQSKafkaRabbitMQDocker

¿Necesita orientación de arquitectura para AWS Lambda?

Los ingenieros sénior de AWS Lambda de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.