Descripción general
Cuando el visibility timeout de una cola de SQS es más corto que el timeout de la función Lambda que la consume, el mensaje vuelve a ser visible mientras la primera invocación todavía lo está procesando. Una segunda invocación lo recoge y, con carga sostenida, se convierte en un bucle que se retroalimenta de trabajo duplicado, que cuesta dinero de verdad y genera efectos secundarios duplicados.
Reto
Una cola que normalmente estaba casi vacía acumuló un gran backlog durante la noche, el número de invocaciones era muy superior al de mensajes y los registros aguas abajo mostraban duplicados. Se había aumentado el timeout de la función para procesar payloads más grandes sin cambiar en consonancia el visibility timeout de la cola. Para colmo, una ruta de error del handler devolvía éxito, de modo que los mensajes fallidos se eliminaban en lugar de enviarse a la dead-letter queue, y otro tipo distinto de mensajes envenenados recirculaba indefinidamente.
Entorno
Funciones de AWS Lambda que consumen colas de SQS, escriben en una base de datos relacional y llaman a APIs internas. AceMQ trabaja sobre las funciones del cliente, la configuración de los orígenes de eventos y el diseño de la integración, no sobre la propia plataforma de AWS.
Enfoque
AceMQ comparó el número de invocaciones con el de mensajes para confirmar la duplicación y, después, auditó cada pareja de función y cola en cuanto a la relación entre timeouts, el comportamiento por lotes y la gestión de errores. La corrección abordó a la vez el desajuste de timeouts, los errores silenciados y la ruta de dead-letter que faltaba, porque arreglar solo uno de ellos deja el bucle al alcance.
Solución
- Visibility timeout de cada cola fijado en un múltiplo seguro del timeout de la función, en todas las parejas de función y cola
- Corrección de las rutas de error del handler que devolvían éxito y provocaban la eliminación de los mensajes fallidos
- Configuración de dead-letter queues con un maxReceiveCount razonable para que los mensajes envenenados salgan del bucle
- Activación de las respuestas de lote parciales para que un registro defectuoso no obligue a reintentar el lote entero
- Escrituras aguas abajo idempotentes para que cualquier entrega duplicada sea inofensiva
- Alertas sobre la relación entre invocaciones y mensajes y sobre la profundidad de la dead-letter queue
Resultado final
Se eliminó el bucle de redrive, se vació el backlog y dejaron de aparecer registros duplicados aguas abajo. El número de invocaciones volvió a seguir el volumen de mensajes, lo que acabó con el pico de costes asociado.