Torna a tutti i casi d'uso

ConsulenzaTrasversale

Scegliere l'event source giusto prima di scrivere l'handler

Azienda tecnologica nel settore trasporti e logistica merci

Progettazione di event source mapping, batching, ordinamento e gestione degli errori per un parco Lambda cresciuto senza un'architettura degli eventi coerente.

Panoramica

In un'architettura Lambda le decisioni difficili si prendono a livello di event source, non nell'handler: coda o stream, dimensione e finestra del batch, garanzie di ordinamento, limiti di concorrenza e che cosa succede a un messaggio che non può essere elaborato. Sbagliarle produce problemi che sembrano bug applicativi.

Sfida

Il parco mescolava code e stream senza una regola chiara su quando usare gli uni o le altre. I workload sensibili all'ordinamento giravano su sorgenti che non offrivano alcuna garanzia di ordinamento, le dimensioni dei batch erano lasciate ai valori predefiniti indipendentemente dal costo per record, la concorrenza illimitata di alcune funzioni sovraccaricava un sistema legacy a valle e la gestione degli errori variava da funzione a funzione, per cui gli operatori non avevano un modo coerente di effettuare il ripristino.

Ambiente

AWS Lambda che consuma code, stream e sistemi di messaggistica, integrando un mix di servizi moderni e un backend legacy con capacità limitata. AceMQ progetta l'architettura degli eventi del cliente sulla piattaforma; la piattaforma è gestita da AWS.

Approccio

AceMQ ha classificato ogni workload in base a requisiti di ordinamento, throughput, costo di elaborazione per record e capacità a valle, quindi ha associato ciascuna classe a un event source adeguato, con semantiche di batching, concorrenza e gestione degli errori definite. I limiti di concorrenza sono stati impostati esplicitamente dove un sistema a valle ha un tetto rigido, perché si tratta di una decisione di progettazione e non di un ritocco di tuning a posteriori.

Soluzione

  1. Workload classificati per requisiti di ordinamento, throughput, costo per record e capacità a valle
  2. Definito quale event source debba usare ciascuna classe di workload, documentandone le motivazioni
  3. Dimensione del batch e batching window impostate per singolo workload invece di lasciare i valori predefiniti della piattaforma
  4. Reserved concurrency applicata per proteggere dai picchi il backend legacy con capacità limitata
  5. Gestione degli errori standardizzata in tutto il parco con destinazioni dead-letter e on-failure
  6. Definito un pattern di idempotenza, così che la consegna at-least-once sia sicura per impostazione predefinita

Esito

Il backend legacy ha smesso di essere sovraccaricato dai picchi di traffico, i workload sensibili all'ordinamento sono passati a sorgenti che garantiscono davvero l'ordinamento e il ripristino dopo un errore è diventato un'unica procedura documentata invece di un'indagine funzione per funzione.

Tecnologie

AWS LambdaAmazon SQSKafkaRabbitMQDocker

Vi servono indicazioni sull'architettura AWS Lambda?

Gli ingegneri AWS Lambda senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.