Torna a tutti i casi d'uso

RemediationTrasversale

Lo stesso messaggio, elaborato all'infinito e fatturato ogni volta

Compagnia assicurativa digitale

Interrompere un loop di redrive in cui i messaggi SQS venivano rielaborati all'infinito perché il visibility timeout della coda era più breve del timeout della funzione Lambda.

Panoramica

Quando il visibility timeout di una coda SQS è più breve del timeout della funzione Lambda che la consuma, un messaggio torna visibile mentre la prima invocazione ci sta ancora lavorando. Una seconda invocazione lo preleva e, sotto carico costante, questo diventa un loop che si autoalimenta di lavoro duplicato, con costi reali ed effetti collaterali duplicati.

Sfida

Una coda normalmente quasi vuota aveva accumulato durante la notte un ampio backlog, il numero di invocazioni superava di molto quello dei messaggi e i record a valle mostravano duplicati. Il timeout della funzione era stato aumentato per gestire payload più grandi senza una corrispondente modifica al visibility timeout della coda. Ad aggravare il quadro, un percorso di errore dell'handler restituiva un esito positivo, per cui i messaggi falliti venivano eliminati anziché inviati alla dead-letter queue, e un'altra categoria di poison message continuava a ricircolare all'infinito.

Ambiente

Funzioni AWS Lambda che consumano code SQS, scrivono su un database relazionale e chiamano API interne. AceMQ interviene sulle funzioni del cliente, sulla configurazione delle event source e sulla progettazione delle integrazioni, non sulla piattaforma AWS in sé.

Approccio

AceMQ ha confrontato il numero di invocazioni con quello dei messaggi per confermare la duplicazione, poi ha verificato ogni abbinamento tra funzione e coda per quanto riguarda il rapporto tra i timeout, il comportamento dei batch e la gestione degli errori. L'intervento ha corretto insieme la discrepanza dei timeout, gli errori ignorati e il percorso di dead-letter mancante, perché correggerne uno solo lascia il loop ancora possibile.

Soluzione

  1. Impostato il visibility timeout di ogni coda su un multiplo sicuro del timeout della funzione, per tutti gli abbinamenti funzione-coda
  2. Corretti i percorsi di errore degli handler che restituivano un esito positivo e provocavano l'eliminazione dei messaggi falliti
  3. Configurate dead-letter queue con un maxReceiveCount ragionevole, così che i poison message escano dal loop
  4. Attivata la segnalazione delle risposte parziali per batch, così che un singolo record difettoso non faccia ritentare l'intero batch
  5. Rese idempotenti le scritture a valle, così che qualsiasi consegna duplicata sia innocua
  6. Aggiunti alert sul rapporto tra invocazioni e messaggi e sulla profondità delle dead-letter queue

Esito

Il loop di redrive è stato eliminato, il backlog è stato smaltito e i record duplicati a valle sono cessati. Il numero di invocazioni è tornato a seguire il volume dei messaggi, eliminando il relativo picco di costi.

Tecnologie

AWS LambdaAmazon SQSDockerPostgreSQL

Avete un problema di produzione su AWS Lambda?

Gli ingegneri AWS Lambda senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.