Volver a todos los casos de uso

RemediaciónMultisectorial

El mismo mensaje, procesado sin fin y facturado cada vez

Aseguradora digital

Ruptura de un bucle de redrive en el que los mensajes de SQS se reprocesaban indefinidamente porque el visibility timeout de la cola era más corto que el timeout de la función Lambda.

Descripción general

Cuando el visibility timeout de una cola de SQS es más corto que el timeout de la función Lambda que la consume, un mensaje vuelve a quedar visible mientras la primera invocación todavía lo está procesando. Una segunda invocación lo toma y, bajo carga sostenida, esto se convierte en un bucle que se retroalimenta con trabajo duplicado, cuesta dinero real y genera efectos secundarios duplicados.

Desafío

Una cola que normalmente funcionaba casi vacía acumuló un gran backlog durante la noche, la cantidad de invocaciones era muy superior a la de mensajes y los registros downstream mostraban duplicados. El timeout de la función se había aumentado para procesar payloads más grandes sin el cambio correspondiente en el visibility timeout de la cola. Para colmo, una ruta de error del handler devolvía éxito, de modo que los mensajes fallidos se eliminaban en lugar de enviarse a la dead-letter queue, y otro tipo de mensajes envenenados (poison messages) circulaba indefinidamente.

Entorno

Funciones de AWS Lambda que consumen colas de SQS, escriben en una base de datos relacional y llaman a APIs internas. AceMQ trabaja sobre las funciones del cliente, la configuración de los event sources y el diseño de la integración, no sobre la plataforma de AWS en sí.

Enfoque

AceMQ comparó la cantidad de invocaciones con la de mensajes para confirmar la duplicación y luego auditó cada par función-cola en cuanto a la relación entre timeouts, el comportamiento por lotes y el manejo de errores. La corrección abordó en conjunto el desajuste de timeouts, los errores silenciados y la falta de una ruta de dead-letter, ya que corregir solo uno de ellos deja el bucle al alcance.

Solución

  1. Visibility timeout de la cola fijado en un múltiplo seguro del timeout de la función en todos los pares función-cola
  2. Corrección de las rutas de error del handler que devolvían éxito y provocaban la eliminación de mensajes fallidos
  3. Configuración de dead-letter queues con un maxReceiveCount razonable para que los mensajes envenenados salgan del bucle
  4. Habilitación de las respuestas parciales por lote para que un registro defectuoso no obligue a reintentar el lote completo
  5. Escrituras downstream idempotentes para que cualquier entrega duplicada sea inofensiva
  6. Alertas sobre la relación entre invocaciones y mensajes y sobre la profundidad de la dead-letter queue

Resultado final

Se eliminó el bucle de redrive, el backlog se vació y dejaron de aparecer registros duplicados downstream. La cantidad de invocaciones volvió a seguir el volumen de mensajes, lo que eliminó el pico de costos asociado.

Tecnologías

AWS LambdaAmazon SQSDockerPostgreSQL

¿Enfrenta un problema de AWS Lambda en producción?

Los ingenieros sénior de AWS Lambda de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.