Descripción general
Los orquestadores de Durable Functions funcionan reproduciendo (replay) su código contra un historial de eventos. Eso solo funciona si el orquestador es determinista: nada de lecturas directas del reloj, valores aleatorios, I/O ni trabajo asíncrono sin orden fuera de las APIs durables. Si se rompe el determinismo, el replay se aparta del historial y la orquestación queda atascada en lugar de fallar de forma limpia.
Desafío
Un lote de orquestaciones de facturación dejó de avanzar después de un despliegue. El orquestador consultaba directamente el reloj del sistema para calcular una fecha de corte, generaba un GUID de correlación en línea y hacía una llamada HTTP desde el orquestador en lugar de hacerlo desde una actividad. Las instancias que ya estaban en curso tenían historiales que el nuevo código no podía reproducir, así que se quedaron detenidas y, como no se marcaron como fallidas, no se disparó ninguna alerta de falla.
Entorno
Durable Functions en Azure con orquestaciones de facturación fan-out/fan-in que abarcan varias funciones de actividad y llamadas externas. AceMQ trabaja sobre el código de orquestadores y actividades del cliente; Microsoft opera la plataforma.
Enfoque
AceMQ inspeccionó los historiales de las instancias de las orquestaciones atascadas para encontrar dónde se desviaba el replay, lo que apuntó directamente a las llamadas no deterministas. Corregimos el orquestador y luego tratamos de forma deliberada las instancias en curso: algunas se pudieron reanudar y otras hubo que terminarlas y volver a ejecutarlas desde un punto seguro conocido.
Solución
- Inspección de los historiales de eventos de las instancias para identificar exactamente dónde el replay se apartaba del historial registrado
- Reemplazo de las lecturas directas del reloj por la hora actual determinista del contexto durable
- Traslado de la generación de GUID y de todo el I/O fuera del orquestador, hacia funciones de actividad
- Clasificación de las instancias en curso en grupos reanudables y de terminar y volver a ejecutar, con reejecución idempotente
- Adopción de orquestadores versionados para que los cambios futuros no rompan las instancias que ya están en curso
- Alertas sobre la antigüedad de las orquestaciones y la cantidad de instancias atascadas, no solo sobre las fallas
Resultado final
Las orquestaciones de facturación detenidas se destrabaron sin cobros duplicados, y gracias al versionado de orquestadores un despliegue ya no corre el riesgo de atascar todas las instancias en ejecución.