Voltar para todos os casos de uso

SuporteEnergia / serviços públicos

Orquestrações que nunca terminam porque o replay já não corresponde ao histórico

Prestadora de serviços de faturamento para utilities

Recuperação de orquestrações do Durable Functions travadas no meio da execução porque código não determinístico no orchestrator quebrou o replay após uma implantação.

Visão geral

Os orchestrators do Durable Functions funcionam reexecutando (replay) o seu código contra um histórico de eventos. Isso só funciona se o orchestrator for determinístico — sem leituras diretas do relógio, sem valores aleatórios, sem I/O e sem trabalho assíncrono fora de ordem fora das APIs durable. Se o determinismo for quebrado, o replay diverge do histórico e a orquestração trava, em vez de falhar de forma limpa.

Desafio

Um lote de orquestrações de faturamento parou de avançar depois de uma implantação. O orchestrator lia o relógio do sistema diretamente para calcular uma data de corte, gerava um GUID de correlação inline e fazia uma chamada HTTP a partir do orchestrator, e não de uma activity. As instâncias que já estavam em execução tinham históricos que o novo código não conseguia reproduzir, então elas travaram — e, como não foram marcadas como falhas, nenhum alerta de falha disparou.

Ambiente

Durable Functions no Azure com orquestrações de faturamento fan-out/fan-in que envolvem várias activity functions e chamadas externas. A AceMQ trabalha no código dos orchestrators e das activities do cliente; a Microsoft opera a plataforma.

Abordagem

A AceMQ inspecionou os históricos das instâncias travadas para descobrir onde o replay divergia, o que apontou diretamente para as chamadas não determinísticas. Corrigimos o orchestrator e depois tratamos de forma deliberada as instâncias que já estavam em execução — algumas puderam ser retomadas, outras precisaram ser encerradas e reexecutadas a partir de um ponto comprovadamente seguro.

Solução

  1. Inspeção dos históricos de eventos das instâncias para identificar exatamente onde o replay divergia do histórico registrado
  2. Leituras diretas do relógio substituídas pelo horário atual determinístico do contexto durable
  3. Geração de GUIDs e todo o I/O movidos do orchestrator para activity functions
  4. Triagem das instâncias em execução em grupos retomáveis e grupos a encerrar e reexecutar, com reexecução idempotente
  5. Adoção de orchestrators versionados para que mudanças futuras não quebrem instâncias já em execução
  6. Alertas sobre a idade das orquestrações e a quantidade de instâncias travadas, e não apenas sobre falhas

Resultado obtido

As orquestrações de faturamento travadas foram liberadas sem cobranças duplicadas, e o versionamento dos orchestrators faz com que uma implantação não corra mais o risco de travar todas as instâncias que já estão rodando.

Tecnologias

Azure FunctionsAzure Service BusPostgreSQLDocker

Precisa de suporte especializado em Azure Functions?

Os engenheiros Azure Functions sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.