Présentation
Les orchestrateurs Durable Functions fonctionnent en rejouant leur code sur un historique d'événements. Cela ne marche que si l'orchestrateur est déterministe : pas de lecture directe de l'horloge, pas de valeurs aléatoires, pas d'E/S, pas de traitement asynchrone non ordonné en dehors des API durables. Rompez le déterminisme, et le replay diverge de l'historique : l'orchestration reste coincée au lieu d'échouer proprement.
Défi
Un lot d'orchestrations de facturation a cessé de progresser après un déploiement. L'orchestrateur lisait directement l'horloge système pour calculer une date limite, générait un GUID de corrélation à la volée et faisait un appel HTTP depuis l'orchestrateur plutôt que depuis une activité. Les instances déjà en cours avaient des historiques que le nouveau code ne pouvait pas reproduire, si bien qu'elles se sont bloquées — et comme elles n'étaient pas marquées en échec, aucune alerte d'échec ne s'est déclenchée.
Environnement
Durable Functions sur Azure, avec des orchestrations de facturation en fan-out/fan-in réparties sur plusieurs fonctions d'activité et appels externes. AceMQ intervient sur le code des orchestrateurs et des activités du client ; Microsoft exploite la plateforme.
Approche
AceMQ a inspecté l'historique des instances bloquées pour trouver le point où le replay divergeait, ce qui a désigné directement les appels non déterministes. Nous avons corrigé l'orchestrateur, puis traité délibérément les instances déjà en cours : certaines pouvaient reprendre, d'autres ont dû être terminées et relancées à partir d'un point sûr connu.
Solution
- Inspection de l'historique des événements des instances pour identifier précisément où le replay divergeait de l'historique enregistré
- Remplacement des lectures directes de l'horloge par l'heure courante déterministe fournie par le contexte durable
- Déplacement de la génération de GUID et de toutes les E/S hors de l'orchestrateur, dans des fonctions d'activité
- Tri des instances en cours entre celles qui pouvaient reprendre et celles à terminer puis rejouer, avec une relance idempotente
- Adoption d'orchestrateurs versionnés pour que les évolutions futures ne cassent pas les instances déjà en cours
- Ajout d'alertes sur l'ancienneté des orchestrations et le nombre d'instances bloquées, et pas seulement sur les échecs
Résultat obtenu
Les orchestrations de facturation bloquées ont été débloquées sans double facturation, et grâce au versionnement des orchestrateurs, un déploiement ne risque plus de coincer toutes les instances déjà en cours.