Voltar para todos os casos de uso

CorreçãoMultissetorial

A mesma mensagem, processada para sempre e cobrada a cada vez

Seguradora digital

Como quebramos um loop de redrive em que mensagens do SQS eram reprocessadas indefinidamente porque o visibility timeout da fila era menor do que o timeout da função Lambda.

Visão geral

Quando o visibility timeout de uma fila SQS é menor do que o timeout da função Lambda que a consome, a mensagem volta a ficar visível enquanto a primeira invocação ainda está trabalhando nela. Uma segunda invocação a pega e, sob carga contínua, isso vira um loop que se retroalimenta de trabalho duplicado, que custa dinheiro de verdade e produz efeitos colaterais duplicados.

Desafio

Uma fila que normalmente ficava quase vazia acumulou um grande backlog durante a noite, a contagem de invocações ficou muito acima da contagem de mensagens e os registros downstream mostravam duplicatas. O timeout da função tinha sido aumentado para lidar com payloads maiores, sem a alteração correspondente no visibility timeout da fila. Para piorar, um caminho de erro do handler retornava sucesso, de modo que as mensagens com falha eram apagadas em vez de irem para a fila de dead-letter, e uma outra categoria de mensagens envenenadas recirculava indefinidamente.

Ambiente

Funções AWS Lambda consumindo filas SQS, gravando em um banco de dados relacional e chamando APIs internas. A AceMQ atua nas funções do cliente, na configuração de event sources e no design das integrações, e não na plataforma AWS em si.

Abordagem

A AceMQ comparou a contagem de invocações com a de mensagens para confirmar a duplicação e depois auditou cada par função-fila quanto à relação entre timeouts, ao comportamento dos lotes e ao tratamento de erros. A correção atacou de uma só vez o descompasso de timeouts, os erros engolidos e a ausência de caminho de dead-letter, já que corrigir apenas um deles mantém o loop alcançável.

Solução

  1. Visibility timeout da fila definido como um múltiplo seguro do timeout da função em todos os pares função-fila
  2. Correção dos caminhos de erro do handler que retornavam sucesso e faziam as mensagens com falha serem apagadas
  3. Filas de dead-letter configuradas com um maxReceiveCount razoável para que mensagens envenenadas saiam do loop
  4. Ativação do partial batch response para que um registro ruim não faça o lote inteiro ser reprocessado
  5. Escritas downstream tornadas idempotentes para que qualquer entrega duplicada seja inofensiva
  6. Alertas sobre a relação entre invocações e mensagens e sobre a profundidade das filas de dead-letter

Resultado obtido

O loop de redrive foi eliminado, o backlog foi drenado e os registros duplicados downstream pararam. A contagem de invocações voltou a acompanhar o volume de mensagens, o que eliminou o pico de custo associado.

Tecnologias

AWS LambdaAmazon SQSDockerPostgreSQL

Enfrentando um problema de produção com AWS Lambda?

Os engenheiros AWS Lambda sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.