Visão geral
Os orchestrators do Durable Functions funcionam reexecutando (replay) o seu código contra um histórico de eventos. Isso só funciona se o orchestrator for determinístico — sem leituras diretas do relógio, sem valores aleatórios, sem I/O e sem trabalho assíncrono fora de ordem fora das APIs durable. Se o determinismo for quebrado, o replay diverge do histórico e a orquestração trava, em vez de falhar de forma limpa.
Desafio
Um lote de orquestrações de faturamento parou de avançar depois de uma implantação. O orchestrator lia o relógio do sistema diretamente para calcular uma data de corte, gerava um GUID de correlação inline e fazia uma chamada HTTP a partir do orchestrator, e não de uma activity. As instâncias que já estavam em execução tinham históricos que o novo código não conseguia reproduzir, então elas travaram — e, como não foram marcadas como falhas, nenhum alerta de falha disparou.
Ambiente
Durable Functions no Azure com orquestrações de faturamento fan-out/fan-in que envolvem várias activity functions e chamadas externas. A AceMQ trabalha no código dos orchestrators e das activities do cliente; a Microsoft opera a plataforma.
Abordagem
A AceMQ inspecionou os históricos das instâncias travadas para descobrir onde o replay divergia, o que apontou diretamente para as chamadas não determinísticas. Corrigimos o orchestrator e depois tratamos de forma deliberada as instâncias que já estavam em execução — algumas puderam ser retomadas, outras precisaram ser encerradas e reexecutadas a partir de um ponto comprovadamente seguro.
Solução
- Inspeção dos históricos de eventos das instâncias para identificar exatamente onde o replay divergia do histórico registrado
- Leituras diretas do relógio substituídas pelo horário atual determinístico do contexto durable
- Geração de GUIDs e todo o I/O movidos do orchestrator para activity functions
- Triagem das instâncias em execução em grupos retomáveis e grupos a encerrar e reexecutar, com reexecução idempotente
- Adoção de orchestrators versionados para que mudanças futuras não quebrem instâncias já em execução
- Alertas sobre a idade das orquestrações e a quantidade de instâncias travadas, e não apenas sobre falhas
Resultado obtido
As orquestrações de faturamento travadas foram liberadas sem cobranças duplicadas, e o versionamento dos orchestrators faz com que uma implantação não corra mais o risco de travar todas as instâncias que já estão rodando.