Volver a todos los casos de uso

SoporteEnergía / Servicios públicos

Orquestaciones que nunca terminan porque el replay ya no coincide con el historial

Proveedor de servicios de facturación para empresas de suministros

Recuperación de orquestaciones de Durable Functions atascadas a medio camino porque un código de orquestador no determinista rompió el replay tras un despliegue.

Descripción general

Los orquestadores de Durable Functions funcionan reproduciendo (replay) su código contra un historial de eventos. Eso solo funciona si el orquestador es determinista: nada de lecturas directas del reloj, ni valores aleatorios, ni E/S, ni trabajo asíncrono sin orden fuera de las API durables. Si se rompe el determinismo, el replay se aparta del historial y la orquestación se queda bloqueada en lugar de fallar limpiamente.

Reto

Un lote de orquestaciones de facturación dejó de avanzar tras un despliegue. El orquestador llamaba directamente al reloj del sistema para calcular una fecha de corte, generaba un GUID de correlación en línea y hacía una llamada HTTP desde el orquestador en lugar de desde una actividad. Las instancias que ya estaban en curso tenían historiales que el nuevo código no podía reproducir, así que se quedaron paradas y, como no se marcaron como fallidas, no saltó ninguna alerta de fallo.

Entorno

Durable Functions en Azure con orquestaciones de facturación fan-out/fan-in que abarcan varias funciones de actividad y llamadas externas. AceMQ trabaja sobre el código de orquestadores y actividades del cliente; Microsoft opera la plataforma.

Enfoque

AceMQ examinó los historiales de las instancias de las orquestaciones atascadas para encontrar dónde se apartaba el replay, lo que señaló directamente las llamadas no deterministas. Corregimos el orquestador y después tratamos con criterio las instancias que ya estaban en curso: algunas se pudieron reanudar y otras hubo que terminarlas y volver a ejecutarlas desde un punto seguro conocido.

Solución

  1. Examen de los historiales de eventos de las instancias para identificar exactamente dónde se apartaba el replay del historial registrado
  2. Sustitución de las lecturas directas del reloj por la hora actual determinista del contexto durable
  3. Traslado de la generación de GUID y de toda la E/S fuera del orquestador, a funciones de actividad
  4. Clasificación de las instancias en curso en grupos reanudables y grupos de terminar y volver a ejecutar, con una reejecución idempotente
  5. Adopción de orquestadores versionados para que los cambios futuros no rompan las instancias que ya están en curso
  6. Alertas basadas en la antigüedad de las orquestaciones y en el número de instancias atascadas, no solo en los fallos

Resultado final

Las orquestaciones de facturación paradas se resolvieron sin cargos duplicados, y gracias al versionado de los orquestadores un despliegue ya no corre el riesgo de bloquear todas las instancias que están en ejecución.

Tecnologías

Azure FunctionsAzure Service BusPostgreSQLDocker

¿Necesita soporte experto de Azure Functions?

Los ingenieros sénior de Azure Functions de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.