Volver a todos los casos de uso

SoporteEnergía / Servicios públicos

Orquestaciones que nunca terminan porque el replay ya no coincide con el historial

Proveedor de facturación de servicios públicos

Recuperación de orquestaciones de Durable Functions detenidas a mitad de camino porque un código de orquestador no determinista rompió el replay después de un despliegue.

Descripción general

Los orquestadores de Durable Functions funcionan reproduciendo (replay) su código contra un historial de eventos. Eso solo funciona si el orquestador es determinista: nada de lecturas directas del reloj, valores aleatorios, I/O ni trabajo asíncrono sin orden fuera de las APIs durables. Si se rompe el determinismo, el replay se aparta del historial y la orquestación queda atascada en lugar de fallar de forma limpia.

Desafío

Un lote de orquestaciones de facturación dejó de avanzar después de un despliegue. El orquestador consultaba directamente el reloj del sistema para calcular una fecha de corte, generaba un GUID de correlación en línea y hacía una llamada HTTP desde el orquestador en lugar de hacerlo desde una actividad. Las instancias que ya estaban en curso tenían historiales que el nuevo código no podía reproducir, así que se quedaron detenidas y, como no se marcaron como fallidas, no se disparó ninguna alerta de falla.

Entorno

Durable Functions en Azure con orquestaciones de facturación fan-out/fan-in que abarcan varias funciones de actividad y llamadas externas. AceMQ trabaja sobre el código de orquestadores y actividades del cliente; Microsoft opera la plataforma.

Enfoque

AceMQ inspeccionó los historiales de las instancias de las orquestaciones atascadas para encontrar dónde se desviaba el replay, lo que apuntó directamente a las llamadas no deterministas. Corregimos el orquestador y luego tratamos de forma deliberada las instancias en curso: algunas se pudieron reanudar y otras hubo que terminarlas y volver a ejecutarlas desde un punto seguro conocido.

Solución

  1. Inspección de los historiales de eventos de las instancias para identificar exactamente dónde el replay se apartaba del historial registrado
  2. Reemplazo de las lecturas directas del reloj por la hora actual determinista del contexto durable
  3. Traslado de la generación de GUID y de todo el I/O fuera del orquestador, hacia funciones de actividad
  4. Clasificación de las instancias en curso en grupos reanudables y de terminar y volver a ejecutar, con reejecución idempotente
  5. Adopción de orquestadores versionados para que los cambios futuros no rompan las instancias que ya están en curso
  6. Alertas sobre la antigüedad de las orquestaciones y la cantidad de instancias atascadas, no solo sobre las fallas

Resultado final

Las orquestaciones de facturación detenidas se destrabaron sin cobros duplicados, y gracias al versionado de orquestadores un despliegue ya no corre el riesgo de atascar todas las instancias en ejecución.

Tecnologías

Azure FunctionsAzure Service BusPostgreSQLDocker

¿Necesita soporte experto de Azure Functions?

Los ingenieros sénior de Azure Functions de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.