Panoramica
Gli orchestrator di Durable Functions funzionano rieseguendo il proprio codice su una cronologia di eventi. Questo funziona solo se l'orchestrator è deterministico: niente letture dirette dell'orologio, niente valori casuali, niente I/O, niente lavoro asincrono non ordinato al di fuori delle API durable. Se si rompe il determinismo, il replay diverge dalla cronologia e l'orchestrazione si incaglia invece di fallire in modo pulito.
Sfida
Dopo un deployment, un gruppo di orchestrazioni di fatturazione ha smesso di avanzare. L'orchestrator leggeva direttamente l'orologio di sistema per calcolare un cutoff, generava inline un GUID di correlazione ed effettuava una chiamata HTTP dall'orchestrator invece che da un'activity. Le istanze già in esecuzione avevano cronologie che il nuovo codice non riusciva a riprodurre, quindi si sono bloccate, e poiché non risultavano fallite, non è scattato alcun alert di errore.
Ambiente
Durable Functions su Azure con orchestrazioni di fatturazione fan-out/fan-in che coinvolgono più activity function e chiamate esterne. AceMQ interviene sul codice degli orchestrator e delle activity del cliente; la piattaforma è gestita da Microsoft.
Approccio
AceMQ ha esaminato le cronologie delle istanze delle orchestrazioni bloccate per individuare il punto in cui il replay divergeva, il che ha portato dritto alle chiamate non deterministiche. Abbiamo corretto l'orchestrator e poi gestito in modo ragionato le istanze già in esecuzione: alcune potevano essere riprese, altre andavano terminate e rieseguite da un punto sicuro noto.
Soluzione
- Esame delle cronologie degli eventi delle istanze per individuare con precisione dove il replay divergeva dalla cronologia registrata
- Sostituzione delle letture dirette dell'orologio con l'ora corrente deterministica fornita dal contesto durable
- Spostamento della generazione dei GUID e di tutto l'I/O fuori dall'orchestrator, nelle activity function
- Triage delle istanze in esecuzione tra riprendibili e da terminare e rieseguire, con riesecuzione idempotente
- Adozione di orchestrator con versioning, così che le modifiche future non compromettano le istanze già in esecuzione
- Alert sull'età delle orchestrazioni e sul numero di istanze bloccate, non solo sui fallimenti
Esito
Le orchestrazioni di fatturazione bloccate sono state sbloccate senza addebiti duplicati, e grazie al versioning degli orchestrator un deployment non rischia più di incagliare tutte le istanze già in esecuzione.