Visão geral
Quando o visibility timeout de uma fila SQS é mais curto do que o timeout da Lambda que a consome, uma mensagem volta a ficar visível enquanto a primeira invocação ainda está a processá-la. Uma segunda invocação apanha-a e, sob carga sustentada, isto transforma-se num ciclo que se alimenta a si próprio, com trabalho duplicado que custa dinheiro a sério e produz efeitos secundários duplicados.
Desafio
Uma fila que normalmente estava quase vazia acumulou um grande backlog durante a noite, o número de invocações era muito superior ao de mensagens e os registos a jusante mostravam duplicados. O timeout da função tinha sido aumentado para processar payloads maiores sem a alteração correspondente no visibility timeout da fila. Para agravar, um caminho de erro do handler devolvia sucesso, pelo que as mensagens falhadas eram eliminadas em vez de enviadas para a dead-letter queue, e uma outra categoria de mensagens envenenadas recirculava indefinidamente.
Ambiente
Funções AWS Lambda a consumir filas SQS, a escrever numa base de dados relacional e a chamar APIs internas. A AceMQ trabalha nas funções do cliente, na configuração das event sources e no desenho da integração, e não na própria plataforma AWS.
Abordagem
A AceMQ comparou o número de invocações com o número de mensagens para confirmar a duplicação e auditou depois cada par função-fila quanto à relação entre timeouts, ao comportamento dos lotes e ao tratamento de erros. A correção abrangeu em conjunto o desfasamento dos timeouts, os erros silenciados e a falta de caminho para dead-letter, já que corrigir apenas um deles deixa o ciclo ao alcance.
Solução
- Definição do visibility timeout da fila como um múltiplo seguro do timeout da função em todos os pares função-fila
- Correção dos caminhos de erro do handler que devolviam sucesso e faziam com que as mensagens falhadas fossem eliminadas
- Configuração de dead-letter queues com um maxReceiveCount sensato para que as mensagens envenenadas saiam do ciclo
- Ativação do reporte de respostas parciais por lote para que um registo defeituoso não obrigue a repetir o lote inteiro
- Escritas a jusante tornadas idempotentes para que qualquer entrega duplicada seja inofensiva
- Alertas sobre o rácio entre invocações e mensagens e sobre a profundidade da dead-letter queue
Resultado final
O ciclo de redrive foi eliminado, o backlog escoou e os registos duplicados a jusante pararam. O número de invocações voltou a acompanhar o volume de mensagens, o que eliminou o pico de custos associado.