Présentation
Lorsque le délai de visibilité d'une file SQS est plus court que le timeout de la fonction Lambda qui la consomme, un message redevient visible alors que la première invocation est encore en train de le traiter. Une seconde invocation le récupère et, sous une charge soutenue, cela devient une boucle auto-entretenue de travail en double qui coûte réellement de l'argent et produit des effets de bord en double.
Défi
Une file d'attente habituellement presque vide a accumulé un arriéré important pendant la nuit, le nombre d'invocations dépassait de loin le nombre de messages, et les enregistrements en aval présentaient des doublons. Le timeout de la fonction avait été relevé pour traiter des payloads plus volumineux, sans modification correspondante du délai de visibilité de la file. Pour ne rien arranger, un chemin d'erreur du handler renvoyait un succès : les messages en échec étaient supprimés au lieu d'être envoyés vers la dead-letter queue, et une catégorie distincte de messages empoisonnés recirculait indéfiniment.
Environnement
Fonctions AWS Lambda consommant des files SQS, écrivant dans une base de données relationnelle et appelant des API internes. AceMQ intervient sur les fonctions du client, la configuration des sources d'événements et la conception de l'intégration — pas sur la plateforme AWS elle-même.
Approche
AceMQ a comparé le nombre d'invocations au nombre de messages pour confirmer la duplication, puis a audité chaque couple fonction-file : rapport entre les timeouts, comportement des lots et gestion des erreurs. La correction a traité ensemble le décalage des timeouts, les erreurs avalées et l'absence de chemin vers la dead-letter queue, car n'en corriger qu'un seul laisse la boucle possible.
Solution
- Délai de visibilité de chaque file fixé à un multiple sûr du timeout de la fonction, pour chaque couple fonction-file
- Correction des chemins d'erreur du handler qui renvoyaient un succès et entraînaient la suppression des messages en échec
- Configuration de dead-letter queues avec un maxReceiveCount raisonnable pour que les messages empoisonnés sortent de la boucle
- Activation du partial batch response pour qu'un enregistrement défectueux ne fasse pas rejouer tout le lot
- Écritures en aval rendues idempotentes pour qu'une éventuelle livraison en double soit sans conséquence
- Ajout d'alertes sur le ratio invocations/messages et sur la profondeur des dead-letter queues
Résultat obtenu
La boucle de redrive a été éliminée, l'arriéré s'est résorbé et les doublons en aval ont cessé. Le nombre d'invocations suit de nouveau le volume de messages, ce qui a fait disparaître le pic de coûts associé.