Descripción general
Las funciones Lambda conectadas a una VPC necesitan interfaces de red y direcciones IP de la subred para escalar. Cuando una subred pequeña se comparte con otras cargas de trabajo, una ráfaga de invocaciones concurrentes puede agotar las direcciones disponibles, y la función falla antes de que su código llegue a ejecutarse; por eso los logs de la aplicación no muestran nada.
Reto
Durante las ráfagas de la apertura del mercado, una parte de las invocaciones fallaba con errores de red y sin ninguna salida en los logs de la aplicación. Las funciones estaban conectadas a dos subredes pequeñas compartidas con otros servicios. Además, cada invocación abría una conexión nueva a la base de datos dentro del handler en lugar de reutilizar una, de modo que una ráfaga agotaba a la vez las direcciones de la subred y el límite de conexiones de la base de datos.
Entorno
Funciones de AWS Lambda conectadas a una VPC que acceden a bases de datos privadas y a servicios internos, con ráfagas de tráfico intradía muy pronunciadas. AceMQ trabaja sobre la configuración de las funciones, el diseño de red y la gestión de conexiones del cliente; la plataforma de AWS en sí es responsabilidad de Amazon.
Enfoque
AceMQ correlacionó las invocaciones fallidas con la utilización de direcciones de las subredes y con la concurrencia para confirmar que la causa era el agotamiento y no un fallo de la aplicación. Después abordamos ambos frentes: suficiente espacio de direcciones y capacidad de interfaces para absorber la ráfaga, y reutilización de conexiones para que la misma ráfaga no se abalance sobre la base de datos.
Solución
- Correlación de los fallos de invocación con la utilización de IP de las subredes y con la concurrencia para confirmar el agotamiento
- Traslado de las funciones a subredes dedicadas y bien dimensionadas en zonas de disponibilidad adicionales
- Traslado de la apertura de la conexión a la base de datos fuera del handler para que las invocaciones en caliente reutilicen las conexiones
- Incorporación de una capa de proxy de conexiones para que la concurrencia de las ráfagas no se traduzca directamente en conexiones a la base de datos
- Configuración de concurrencia reservada y aprovisionada donde el perfil de las ráfagas lo justificaba
- Alertas sobre la utilización de direcciones de las subredes y sobre las métricas de throttling y errores de cada función
Resultado final
Los fallos en la apertura del mercado desaparecieron, y el número de conexiones a la base de datos durante las ráfagas cayó drásticamente al reutilizar las conexiones en lugar de crear una por invocación.