Descripción general
Las funciones Lambda conectadas a una VPC necesitan interfaces de red y direcciones IP de la subred para escalar. Cuando una subred pequeña se comparte con otras cargas de trabajo, una ráfaga de invocaciones concurrentes puede agotar las direcciones disponibles, y la función falla antes de que su código llegue a ejecutarse; por eso los logs de la aplicación no muestran nada.
Desafío
Durante las ráfagas de la apertura del mercado, una parte de las invocaciones fallaba con errores de red y sin ninguna salida en los logs de la aplicación. Las funciones estaban conectadas a dos subredes pequeñas compartidas con otros servicios. Además, cada invocación abría una conexión nueva a la base de datos a nivel del handler en lugar de reutilizar una, así que una ráfaga agotaba al mismo tiempo las direcciones de la subred y el límite de conexiones de la base de datos.
Entorno
Funciones de AWS Lambda conectadas a una VPC que acceden a bases de datos privadas y servicios internos, con ráfagas de tráfico pronunciadas durante el día. AceMQ trabaja sobre la configuración de las funciones, el diseño de red y el manejo de conexiones del cliente; la plataforma de AWS en sí es de Amazon.
Enfoque
AceMQ correlacionó las invocaciones fallidas con la utilización de direcciones de las subredes y la concurrencia para confirmar que la causa era el agotamiento y no una falla de la aplicación. Luego atacamos ambos lados: suficiente espacio de direcciones y capacidad de interfaces para absorber la ráfaga, y reutilización de conexiones para que la misma ráfaga no golpee a la base de datos.
Solución
- Correlación de las fallas de invocación con la utilización de IP de las subredes y la concurrencia para confirmar el agotamiento
- Traslado de las funciones a subredes dedicadas y bien dimensionadas en zonas de disponibilidad adicionales
- Traslado de la configuración de la conexión a la base de datos fuera del handler, para que las invocaciones en caliente reutilicen conexiones
- Incorporación de una capa de proxy de conexiones para que la concurrencia en ráfaga no se traduzca en conexiones directas a la base de datos
- Configuración de reserved y provisioned concurrency donde la forma de las ráfagas lo justificaba
- Alertas sobre la utilización de direcciones de las subredes y sobre las métricas de throttling y errores a nivel de función
Resultado final
Las fallas en la apertura del mercado se terminaron, y la cantidad de conexiones a la base de datos durante las ráfagas bajó drásticamente una vez que las conexiones pasaron a reutilizarse en lugar de crearse en cada invocación.