概要
Durable Functionsのオーケストレーターは、イベント履歴に対してコードをリプレイすることで動作します。これが機能するのは、オーケストレーターが決定的である場合だけです。つまり、時計を直接読まない、乱数を使わない、I/Oを行わない、Durable APIの外で順序の定まらない非同期処理を行わない、ということです。決定性が崩れるとリプレイが履歴から逸脱し、オーケストレーションはきれいに失敗するのではなく、途中で固まってしまいます。
課題
あるデプロイの後、一連の請求オーケストレーションが進まなくなりました。オーケストレーターは締め時刻を計算するためにシステムクロックを直接呼び出し、相関用のGUIDをその場で生成し、アクティビティではなくオーケストレーターからHTTP呼び出しを行っていました。実行中だった既存のインスタンスには、新しいコードでは再現できない履歴があったため停止してしまいました。しかも失敗としてマークされなかったため、障害アラートも発報しませんでした。
環境
複数のアクティビティ関数と外部呼び出しにまたがるファンアウト/ファンインの請求オーケストレーションを持つ、Azure上のDurable Functions。AceMQはお客様のオーケストレーターとアクティビティのコードを担当し、プラットフォームはMicrosoftが運用しています。
アプローチ
AceMQは、停止したオーケストレーションのインスタンス履歴を調べてリプレイが逸脱した箇所を特定し、そこから非決定的な呼び出しを直接突き止めました。オーケストレーターを修正したうえで、実行中だった既存のインスタンスを慎重に処理しました。再開できるものもあれば、終了させて安全が確認された地点から再実行しなければならないものもありました。
ソリューション
- インスタンスのイベント履歴を調べ、リプレイが記録された履歴から逸脱した箇所を正確に特定
- 時計の直接読み取りを、Durableコンテキストが提供する決定的な現在時刻に置き換え
- GUIDの生成とすべてのI/Oをオーケストレーターからアクティビティ関数へ移動
- 実行中のインスタンスを、再開可能なグループと終了して再実行するグループに分類し、冪等な再実行を実施
- 今後の変更が実行中のインスタンスを壊さないよう、バージョン付きのオーケストレーターを採用
- 失敗だけでなく、オーケストレーションの経過時間と停止中のインスタンス数に対するアラートを追加
結果
停止していた請求オーケストレーションは、二重請求を出すことなく解消されました。オーケストレーターのバージョン管理により、デプロイによって実行中のすべてのインスタンスが固まるリスクもなくなりました。