Panoramica
In un'architettura Lambda le decisioni difficili si prendono a livello di event source, non nell'handler: coda o stream, dimensione e finestra del batch, garanzie di ordinamento, limiti di concorrenza e che cosa succede a un messaggio che non può essere elaborato. Sbagliarle produce problemi che sembrano bug applicativi.
Sfida
Il parco mescolava code e stream senza una regola chiara su quando usare gli uni o le altre. I workload sensibili all'ordinamento giravano su sorgenti che non offrivano alcuna garanzia di ordinamento, le dimensioni dei batch erano lasciate ai valori predefiniti indipendentemente dal costo per record, la concorrenza illimitata di alcune funzioni sovraccaricava un sistema legacy a valle e la gestione degli errori variava da funzione a funzione, per cui gli operatori non avevano un modo coerente di effettuare il ripristino.
Ambiente
AWS Lambda che consuma code, stream e sistemi di messaggistica, integrando un mix di servizi moderni e un backend legacy con capacità limitata. AceMQ progetta l'architettura degli eventi del cliente sulla piattaforma; la piattaforma è gestita da AWS.
Approccio
AceMQ ha classificato ogni workload in base a requisiti di ordinamento, throughput, costo di elaborazione per record e capacità a valle, quindi ha associato ciascuna classe a un event source adeguato, con semantiche di batching, concorrenza e gestione degli errori definite. I limiti di concorrenza sono stati impostati esplicitamente dove un sistema a valle ha un tetto rigido, perché si tratta di una decisione di progettazione e non di un ritocco di tuning a posteriori.
Soluzione
- Workload classificati per requisiti di ordinamento, throughput, costo per record e capacità a valle
- Definito quale event source debba usare ciascuna classe di workload, documentandone le motivazioni
- Dimensione del batch e batching window impostate per singolo workload invece di lasciare i valori predefiniti della piattaforma
- Reserved concurrency applicata per proteggere dai picchi il backend legacy con capacità limitata
- Gestione degli errori standardizzata in tutto il parco con destinazioni dead-letter e on-failure
- Definito un pattern di idempotenza, così che la consegna at-least-once sia sicura per impostazione predefinita
Esito
Il backend legacy ha smesso di essere sovraccaricato dai picchi di traffico, i workload sensibili all'ordinamento sono passati a sorgenti che garantiscono davvero l'ordinamento e il ripristino dopo un errore è diventato un'unica procedura documentata invece di un'indagine funzione per funzione.