Torna a tutti i casi d'uso

SupportoEnergia / Utility

Orchestrazioni che non terminano mai perché il replay non corrisponde più alla cronologia

Fornitore di servizi di fatturazione per utility

Recupero di orchestrazioni Durable Functions bloccate a metà esecuzione perché un codice dell'orchestrator non deterministico aveva compromesso il replay dopo un deployment.

Panoramica

Gli orchestrator di Durable Functions funzionano rieseguendo il proprio codice su una cronologia di eventi. Questo funziona solo se l'orchestrator è deterministico: niente letture dirette dell'orologio, niente valori casuali, niente I/O, niente lavoro asincrono non ordinato al di fuori delle API durable. Se si rompe il determinismo, il replay diverge dalla cronologia e l'orchestrazione si incaglia invece di fallire in modo pulito.

Sfida

Dopo un deployment, un gruppo di orchestrazioni di fatturazione ha smesso di avanzare. L'orchestrator leggeva direttamente l'orologio di sistema per calcolare un cutoff, generava inline un GUID di correlazione ed effettuava una chiamata HTTP dall'orchestrator invece che da un'activity. Le istanze già in esecuzione avevano cronologie che il nuovo codice non riusciva a riprodurre, quindi si sono bloccate, e poiché non risultavano fallite, non è scattato alcun alert di errore.

Ambiente

Durable Functions su Azure con orchestrazioni di fatturazione fan-out/fan-in che coinvolgono più activity function e chiamate esterne. AceMQ interviene sul codice degli orchestrator e delle activity del cliente; la piattaforma è gestita da Microsoft.

Approccio

AceMQ ha esaminato le cronologie delle istanze delle orchestrazioni bloccate per individuare il punto in cui il replay divergeva, il che ha portato dritto alle chiamate non deterministiche. Abbiamo corretto l'orchestrator e poi gestito in modo ragionato le istanze già in esecuzione: alcune potevano essere riprese, altre andavano terminate e rieseguite da un punto sicuro noto.

Soluzione

  1. Esame delle cronologie degli eventi delle istanze per individuare con precisione dove il replay divergeva dalla cronologia registrata
  2. Sostituzione delle letture dirette dell'orologio con l'ora corrente deterministica fornita dal contesto durable
  3. Spostamento della generazione dei GUID e di tutto l'I/O fuori dall'orchestrator, nelle activity function
  4. Triage delle istanze in esecuzione tra riprendibili e da terminare e rieseguire, con riesecuzione idempotente
  5. Adozione di orchestrator con versioning, così che le modifiche future non compromettano le istanze già in esecuzione
  6. Alert sull'età delle orchestrazioni e sul numero di istanze bloccate, non solo sui fallimenti

Esito

Le orchestrazioni di fatturazione bloccate sono state sbloccate senza addebiti duplicati, e grazie al versioning degli orchestrator un deployment non rischia più di incagliare tutte le istanze già in esecuzione.

Tecnologie

Azure FunctionsAzure Service BusPostgreSQLDocker

Vi serve supporto specialistico per Azure Functions?

Gli ingegneri Azure Functions senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.