Zurück zu allen Kundenbeispielen

SupportEnergie / Versorger

Orchestrierungen, die nie abschließen, weil der Replay nicht mehr zur Historie passt

Dienstleister für die Abrechnung von Versorgungsleistungen

Wiederherstellung von Durable-Functions-Orchestrierungen, die mitten im Lauf hängen blieben, weil nicht deterministischer Orchestrator-Code nach einem Deployment den Replay gebrochen hatte.

Überblick

Durable-Functions-Orchestratoren funktionieren, indem sie ihren Code gegen eine Event-Historie erneut abspielen. Das klappt nur, wenn der Orchestrator deterministisch ist – keine direkten Zugriffe auf die Uhr, keine Zufallswerte, kein I/O, keine ungeordnete asynchrone Arbeit außerhalb der Durable APIs. Wird der Determinismus gebrochen, weicht der Replay von der Historie ab, und die Orchestrierung verklemmt sich, statt sauber fehlzuschlagen.

Herausforderung

Nach einem Deployment kam eine Reihe von Abrechnungs-Orchestrierungen nicht mehr voran. Der Orchestrator las die Systemuhr direkt aus, um einen Stichtag zu berechnen, erzeugte eine Correlation-GUID inline und setzte einen HTTP-Aufruf aus dem Orchestrator statt aus einer Activity ab. Die bereits laufenden Instanzen hatten Historien, die der neue Code nicht reproduzieren konnte, also blieben sie hängen – und weil sie nicht als fehlgeschlagen markiert wurden, löste auch kein Fehler-Alert aus.

Umgebung

Durable Functions auf Azure mit Fan-out/Fan-in-Abrechnungs-Orchestrierungen über mehrere Activity Functions und externe Aufrufe. AceMQ arbeitet am Orchestrator- und Activity-Code des Kunden; Microsoft betreibt die Plattform.

Vorgehen

AceMQ untersuchte die Instanz-Historien der hängenden Orchestrierungen, um die Stelle zu finden, an der der Replay abwich – und die wies direkt auf die nicht deterministischen Aufrufe. Wir korrigierten den Orchestrator und gingen dann bewusst mit den bereits laufenden Instanzen um: Manche ließen sich fortsetzen, andere mussten beendet und ab einem bekannt sicheren Punkt erneut ausgeführt werden.

Lösung

  1. Event-Historien der Instanzen untersucht, um exakt zu bestimmen, wo der Replay von der aufgezeichneten Historie abwich
  2. Direkte Zugriffe auf die Uhr durch die deterministische aktuelle Zeit des Durable Context ersetzt
  3. GUID-Erzeugung und sämtliches I/O aus dem Orchestrator in Activity Functions verlagert
  4. Laufende Instanzen in fortsetzbare und in solche zum Beenden und erneuten Abspielen eingeteilt, mit idempotenter Wiederholung
  5. Versionierte Orchestratoren eingeführt, damit künftige Änderungen bereits laufende Instanzen nicht brechen
  6. Alerting auf das Alter von Orchestrierungen und die Zahl hängender Instanzen ergänzt, nicht nur auf Fehler

Resultat

Die hängenden Abrechnungs-Orchestrierungen wurden ohne doppelte Belastungen aufgelöst, und dank versionierter Orchestratoren riskiert ein Deployment nicht mehr, alle bereits laufenden Instanzen zu verklemmen.

Technologien

Azure FunctionsAzure Service BusPostgreSQLDocker

Brauchen Sie Expertensupport für Azure Functions?

Die Senior Engineers von AceMQ für Azure Functions haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.