Retour à tous les cas d'usage

SupportÉnergie / services publics

Des orchestrations qui ne se terminent jamais parce que le replay ne correspond plus à l'historique

Prestataire de facturation pour les opérateurs de services publics

Débloquer des orchestrations Durable Functions arrêtées en cours d'exécution parce que du code d'orchestrateur non déterministe avait cassé le replay après un déploiement.

Présentation

Les orchestrateurs Durable Functions fonctionnent en rejouant leur code sur un historique d'événements. Cela ne marche que si l'orchestrateur est déterministe : pas de lecture directe de l'horloge, pas de valeurs aléatoires, pas d'E/S, pas de traitement asynchrone non ordonné en dehors des API durables. Rompez le déterminisme, et le replay diverge de l'historique : l'orchestration reste coincée au lieu d'échouer proprement.

Défi

Un lot d'orchestrations de facturation a cessé de progresser après un déploiement. L'orchestrateur lisait directement l'horloge système pour calculer une date limite, générait un GUID de corrélation à la volée et faisait un appel HTTP depuis l'orchestrateur plutôt que depuis une activité. Les instances déjà en cours avaient des historiques que le nouveau code ne pouvait pas reproduire, si bien qu'elles se sont bloquées — et comme elles n'étaient pas marquées en échec, aucune alerte d'échec ne s'est déclenchée.

Environnement

Durable Functions sur Azure, avec des orchestrations de facturation en fan-out/fan-in réparties sur plusieurs fonctions d'activité et appels externes. AceMQ intervient sur le code des orchestrateurs et des activités du client ; Microsoft exploite la plateforme.

Approche

AceMQ a inspecté l'historique des instances bloquées pour trouver le point où le replay divergeait, ce qui a désigné directement les appels non déterministes. Nous avons corrigé l'orchestrateur, puis traité délibérément les instances déjà en cours : certaines pouvaient reprendre, d'autres ont dû être terminées et relancées à partir d'un point sûr connu.

Solution

  1. Inspection de l'historique des événements des instances pour identifier précisément où le replay divergeait de l'historique enregistré
  2. Remplacement des lectures directes de l'horloge par l'heure courante déterministe fournie par le contexte durable
  3. Déplacement de la génération de GUID et de toutes les E/S hors de l'orchestrateur, dans des fonctions d'activité
  4. Tri des instances en cours entre celles qui pouvaient reprendre et celles à terminer puis rejouer, avec une relance idempotente
  5. Adoption d'orchestrateurs versionnés pour que les évolutions futures ne cassent pas les instances déjà en cours
  6. Ajout d'alertes sur l'ancienneté des orchestrations et le nombre d'instances bloquées, et pas seulement sur les échecs

Résultat obtenu

Les orchestrations de facturation bloquées ont été débloquées sans double facturation, et grâce au versionnement des orchestrateurs, un déploiement ne risque plus de coincer toutes les instances déjà en cours.

Technologies

Azure FunctionsAzure Service BusPostgreSQLDocker

Besoin d'un support Azure Functions expert ?

Les ingénieurs Azure Functions seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.