Voltar a todos os casos de utilização

CorreçãoTransversal a vários setores

A mesma mensagem, processada para sempre e faturada de cada vez

Seguradora digital

Quebrar um ciclo de redrive em que as mensagens SQS eram reprocessadas indefinidamente porque o visibility timeout da fila era mais curto do que o timeout da função Lambda.

Visão geral

Quando o visibility timeout de uma fila SQS é mais curto do que o timeout da Lambda que a consome, uma mensagem volta a ficar visível enquanto a primeira invocação ainda está a processá-la. Uma segunda invocação apanha-a e, sob carga sustentada, isto transforma-se num ciclo que se alimenta a si próprio, com trabalho duplicado que custa dinheiro a sério e produz efeitos secundários duplicados.

Desafio

Uma fila que normalmente estava quase vazia acumulou um grande backlog durante a noite, o número de invocações era muito superior ao de mensagens e os registos a jusante mostravam duplicados. O timeout da função tinha sido aumentado para processar payloads maiores sem a alteração correspondente no visibility timeout da fila. Para agravar, um caminho de erro do handler devolvia sucesso, pelo que as mensagens falhadas eram eliminadas em vez de enviadas para a dead-letter queue, e uma outra categoria de mensagens envenenadas recirculava indefinidamente.

Ambiente

Funções AWS Lambda a consumir filas SQS, a escrever numa base de dados relacional e a chamar APIs internas. A AceMQ trabalha nas funções do cliente, na configuração das event sources e no desenho da integração, e não na própria plataforma AWS.

Abordagem

A AceMQ comparou o número de invocações com o número de mensagens para confirmar a duplicação e auditou depois cada par função-fila quanto à relação entre timeouts, ao comportamento dos lotes e ao tratamento de erros. A correção abrangeu em conjunto o desfasamento dos timeouts, os erros silenciados e a falta de caminho para dead-letter, já que corrigir apenas um deles deixa o ciclo ao alcance.

Solução

  1. Definição do visibility timeout da fila como um múltiplo seguro do timeout da função em todos os pares função-fila
  2. Correção dos caminhos de erro do handler que devolviam sucesso e faziam com que as mensagens falhadas fossem eliminadas
  3. Configuração de dead-letter queues com um maxReceiveCount sensato para que as mensagens envenenadas saiam do ciclo
  4. Ativação do reporte de respostas parciais por lote para que um registo defeituoso não obrigue a repetir o lote inteiro
  5. Escritas a jusante tornadas idempotentes para que qualquer entrega duplicada seja inofensiva
  6. Alertas sobre o rácio entre invocações e mensagens e sobre a profundidade da dead-letter queue

Resultado final

O ciclo de redrive foi eliminado, o backlog escoou e os registos duplicados a jusante pararam. O número de invocações voltou a acompanhar o volume de mensagens, o que eliminou o pico de custos associado.

Tecnologias

AWS LambdaAmazon SQSDockerPostgreSQL

Tem um problema de produção com AWS Lambda?

Os engenheiros seniores de AWS Lambda da AceMQ já trataram exatamente este tipo de projeto. Quer precise de orientação de arquitetura, de correção prática ou de uma parceria de gestão contínua, estamos prontos para ajudar.