Volver a todos los casos de uso

SoporteServicios financieros / Trading

Funciones que no llegan a arrancar cuando la subred se queda sin direcciones

Firma de gestión patrimonial

Diagnóstico de fallos de invocación de funciones Lambda conectadas a una VPC, causados por el agotamiento de ENI y de direcciones IP de las subredes durante el escalado, y de la gestión de conexiones que lo agravaba.

Descripción general

Las funciones Lambda conectadas a una VPC necesitan interfaces de red y direcciones IP de la subred para escalar. Cuando una subred pequeña se comparte con otras cargas de trabajo, una ráfaga de invocaciones concurrentes puede agotar las direcciones disponibles, y la función falla antes de que su código llegue a ejecutarse; por eso los logs de la aplicación no muestran nada.

Reto

Durante las ráfagas de la apertura del mercado, una parte de las invocaciones fallaba con errores de red y sin ninguna salida en los logs de la aplicación. Las funciones estaban conectadas a dos subredes pequeñas compartidas con otros servicios. Además, cada invocación abría una conexión nueva a la base de datos dentro del handler en lugar de reutilizar una, de modo que una ráfaga agotaba a la vez las direcciones de la subred y el límite de conexiones de la base de datos.

Entorno

Funciones de AWS Lambda conectadas a una VPC que acceden a bases de datos privadas y a servicios internos, con ráfagas de tráfico intradía muy pronunciadas. AceMQ trabaja sobre la configuración de las funciones, el diseño de red y la gestión de conexiones del cliente; la plataforma de AWS en sí es responsabilidad de Amazon.

Enfoque

AceMQ correlacionó las invocaciones fallidas con la utilización de direcciones de las subredes y con la concurrencia para confirmar que la causa era el agotamiento y no un fallo de la aplicación. Después abordamos ambos frentes: suficiente espacio de direcciones y capacidad de interfaces para absorber la ráfaga, y reutilización de conexiones para que la misma ráfaga no se abalance sobre la base de datos.

Solución

  1. Correlación de los fallos de invocación con la utilización de IP de las subredes y con la concurrencia para confirmar el agotamiento
  2. Traslado de las funciones a subredes dedicadas y bien dimensionadas en zonas de disponibilidad adicionales
  3. Traslado de la apertura de la conexión a la base de datos fuera del handler para que las invocaciones en caliente reutilicen las conexiones
  4. Incorporación de una capa de proxy de conexiones para que la concurrencia de las ráfagas no se traduzca directamente en conexiones a la base de datos
  5. Configuración de concurrencia reservada y aprovisionada donde el perfil de las ráfagas lo justificaba
  6. Alertas sobre la utilización de direcciones de las subredes y sobre las métricas de throttling y errores de cada función

Resultado final

Los fallos en la apertura del mercado desaparecieron, y el número de conexiones a la base de datos durante las ráfagas cayó drásticamente al reutilizar las conexiones en lugar de crear una por invocación.

Tecnologías

AWS LambdaPostgreSQLRedisDocker

¿Necesita soporte experto de AWS Lambda?

Los ingenieros sénior de AWS Lambda de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.