Descripción general
Los orquestadores de Durable Functions funcionan reproduciendo (replay) su código contra un historial de eventos. Eso solo funciona si el orquestador es determinista: nada de lecturas directas del reloj, ni valores aleatorios, ni E/S, ni trabajo asíncrono sin orden fuera de las API durables. Si se rompe el determinismo, el replay se aparta del historial y la orquestación se queda bloqueada en lugar de fallar limpiamente.
Reto
Un lote de orquestaciones de facturación dejó de avanzar tras un despliegue. El orquestador llamaba directamente al reloj del sistema para calcular una fecha de corte, generaba un GUID de correlación en línea y hacía una llamada HTTP desde el orquestador en lugar de desde una actividad. Las instancias que ya estaban en curso tenían historiales que el nuevo código no podía reproducir, así que se quedaron paradas y, como no se marcaron como fallidas, no saltó ninguna alerta de fallo.
Entorno
Durable Functions en Azure con orquestaciones de facturación fan-out/fan-in que abarcan varias funciones de actividad y llamadas externas. AceMQ trabaja sobre el código de orquestadores y actividades del cliente; Microsoft opera la plataforma.
Enfoque
AceMQ examinó los historiales de las instancias de las orquestaciones atascadas para encontrar dónde se apartaba el replay, lo que señaló directamente las llamadas no deterministas. Corregimos el orquestador y después tratamos con criterio las instancias que ya estaban en curso: algunas se pudieron reanudar y otras hubo que terminarlas y volver a ejecutarlas desde un punto seguro conocido.
Solución
- Examen de los historiales de eventos de las instancias para identificar exactamente dónde se apartaba el replay del historial registrado
- Sustitución de las lecturas directas del reloj por la hora actual determinista del contexto durable
- Traslado de la generación de GUID y de toda la E/S fuera del orquestador, a funciones de actividad
- Clasificación de las instancias en curso en grupos reanudables y grupos de terminar y volver a ejecutar, con una reejecución idempotente
- Adopción de orquestadores versionados para que los cambios futuros no rompan las instancias que ya están en curso
- Alertas basadas en la antigüedad de las orquestaciones y en el número de instancias atascadas, no solo en los fallos
Resultado final
Las orquestaciones de facturación paradas se resolvieron sin cargos duplicados, y gracias al versionado de los orquestadores un despliegue ya no corre el riesgo de bloquear todas las instancias que están en ejecución.