Descripción general
Un entorno de Azure Functions es tan sólido como el diseño de sus triggers. Elegir entre Service Bus, Event Hubs o Storage Queues es una decisión sobre orden, rendimiento y semántica de entrega, y los ajustes de concurrencia por función son lo que impide que una function app que escala aplaste todo lo que invoca.
Reto
Los triggers se habían elegido caso por caso, sin ningún razonamiento documentado. Los eventos de envío, sensibles al orden, se ejecutaban sobre un trigger sin soporte de sesiones, así que las actualizaciones de estado podían aplicarse desordenadas. La configuración de concurrencia por defecto del host permitía que una function app escalara tanto como para agotar el límite de peticiones de una API aguas abajo. La gestión de mensajes envenenados (poison messages) existía en unas funciones y no en otras, por lo que a veces los fallos se descartaban sin dejar rastro.
Entorno
Azure Functions integradas con Service Bus, flujos de eventos y API de socios externos, junto a una infraestructura de mensajería autoalojada. AceMQ diseña la arquitectura de eventos del cliente; Microsoft opera la plataforma.
Enfoque
AceMQ trasladó los requisitos de orden, rendimiento y entrega de cada flujo de eventos a un tipo de trigger concreto, con el razonamiento documentado, y después ajustó la concurrencia a nivel de host y por función a la capacidad de los sistemas aguas abajo. Como el entorno combina mensajería en la nube y brokers autoalojados, diseñamos de forma explícita las fronteras entre ambos en lugar de dejar que se difuminaran.
Solución
- Asignación de cada flujo de eventos a un tipo de trigger según sus garantías de orden, rendimiento y entrega
- Adopción de mensajería con sesiones para los flujos de envíos que requieren orden por entidad
- Límites de concurrencia por host y por función dimensionados según la capacidad de las API y bases de datos aguas abajo
- Estandarización de la gestión de mensajes envenenados y de la inspección de dead-letter en todas las function apps
- Definición de la frontera y del patrón de puente entre la mensajería en la nube y los brokers autoalojados
- Convenciones de idempotencia y de correlation ID para que los reintentos y la trazabilidad funcionen de forma coherente
Resultado final
Se eliminaron las actualizaciones de estado de envíos fuera de orden, la API del socio aguas abajo dejó de sufrir limitaciones de peticiones por los picos de escalado y cada function app tiene ahora una ruta de fallo coherente y documentada.