Descripción general
Las decisiones difíciles de una arquitectura Lambda se toman en el origen de eventos, no en el handler: cola o stream, tamaño y ventana de lote, garantías de orden, límites de concurrencia y qué ocurre con un mensaje que no se puede procesar. Equivocarse en ellas produce problemas que parecen errores de la aplicación.
Reto
El parque mezclaba colas y streams sin una regla clara sobre cuándo usar cada uno. Cargas de trabajo sensibles al orden se ejecutaban sobre orígenes que no garantizaban ningún orden, los tamaños de lote se dejaban en los valores por defecto sin tener en cuenta el coste por registro, la concurrencia ilimitada de algunas funciones desbordaba un sistema heredado aguas abajo y la gestión de fallos variaba de una función a otra, de modo que los operadores no tenían una forma coherente de recuperarse.
Entorno
AWS Lambda consumiendo colas, streams y sistemas de mensajería, e integrando una mezcla de servicios modernos y un backend heredado con capacidad limitada. AceMQ diseña la arquitectura de eventos del cliente sobre la plataforma; AWS opera la plataforma.
Enfoque
AceMQ clasificó cada carga de trabajo según su requisito de orden, su throughput, el coste de procesamiento por registro y la capacidad aguas abajo, y después asignó a cada clase un origen de eventos adecuado con una semántica definida de lotes, concurrencia y fallos. Los límites de concurrencia se fijaron de forma explícita allí donde un sistema aguas abajo tiene un techo estricto, porque es una decisión de diseño y no un ajuste a posteriori.
Solución
- Clasificación de las cargas de trabajo por requisito de orden, throughput, coste por registro y capacidad aguas abajo
- Definición del origen de eventos que debe usar cada clase de carga de trabajo, con la justificación documentada
- Ajuste del tamaño de lote y de la ventana de lote por carga de trabajo en lugar de mantener los valores por defecto de la plataforma
- Aplicación de concurrencia reservada para proteger de los picos al backend heredado con capacidad limitada
- Estandarización de la gestión de fallos con destinos de dead-letter y destinos on-failure en todo el parque
- Establecimiento de un patrón de idempotencia para que la entrega at-least-once sea segura por defecto
Resultado final
El backend heredado dejó de verse desbordado por los picos de tráfico, las cargas de trabajo sensibles al orden pasaron a orígenes que realmente garantizan el orden y la recuperación ante fallos se convirtió en un único procedimiento documentado en lugar de una investigación función por función.