Volver a todos los casos de uso

SoporteServicios financieros / Trading

Funciones que no arrancan cuando la subred se queda sin direcciones

Firma de gestión patrimonial

Diagnóstico de fallas de invocación de funciones Lambda conectadas a una VPC causadas por el agotamiento de ENI y de direcciones IP de las subredes durante el escalado, y del manejo de conexiones que lo empeoraba.

Descripción general

Las funciones Lambda conectadas a una VPC necesitan interfaces de red y direcciones IP de la subred para escalar. Cuando una subred pequeña se comparte con otras cargas de trabajo, una ráfaga de invocaciones concurrentes puede agotar las direcciones disponibles, y la función falla antes de que su código llegue a ejecutarse; por eso los logs de la aplicación no muestran nada.

Desafío

Durante las ráfagas de la apertura del mercado, una parte de las invocaciones fallaba con errores de red y sin ninguna salida en los logs de la aplicación. Las funciones estaban conectadas a dos subredes pequeñas compartidas con otros servicios. Además, cada invocación abría una conexión nueva a la base de datos a nivel del handler en lugar de reutilizar una, así que una ráfaga agotaba al mismo tiempo las direcciones de la subred y el límite de conexiones de la base de datos.

Entorno

Funciones de AWS Lambda conectadas a una VPC que acceden a bases de datos privadas y servicios internos, con ráfagas de tráfico pronunciadas durante el día. AceMQ trabaja sobre la configuración de las funciones, el diseño de red y el manejo de conexiones del cliente; la plataforma de AWS en sí es de Amazon.

Enfoque

AceMQ correlacionó las invocaciones fallidas con la utilización de direcciones de las subredes y la concurrencia para confirmar que la causa era el agotamiento y no una falla de la aplicación. Luego atacamos ambos lados: suficiente espacio de direcciones y capacidad de interfaces para absorber la ráfaga, y reutilización de conexiones para que la misma ráfaga no golpee a la base de datos.

Solución

  1. Correlación de las fallas de invocación con la utilización de IP de las subredes y la concurrencia para confirmar el agotamiento
  2. Traslado de las funciones a subredes dedicadas y bien dimensionadas en zonas de disponibilidad adicionales
  3. Traslado de la configuración de la conexión a la base de datos fuera del handler, para que las invocaciones en caliente reutilicen conexiones
  4. Incorporación de una capa de proxy de conexiones para que la concurrencia en ráfaga no se traduzca en conexiones directas a la base de datos
  5. Configuración de reserved y provisioned concurrency donde la forma de las ráfagas lo justificaba
  6. Alertas sobre la utilización de direcciones de las subredes y sobre las métricas de throttling y errores a nivel de función

Resultado final

Las fallas en la apertura del mercado se terminaron, y la cantidad de conexiones a la base de datos durante las ráfagas bajó drásticamente una vez que las conexiones pasaron a reutilizarse en lugar de crearse en cada invocación.

Tecnologías

AWS LambdaPostgreSQLRedisDocker

¿Necesita soporte experto de AWS Lambda?

Los ingenieros sénior de AWS Lambda de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.