概覽
Durable Functions 的 orchestrator 是透過依事件歷史紀錄重播(replay)程式碼來運作的。前提是 orchestrator 必須具有決定性:不直接讀取時鐘、不使用隨機值、不做 I/O,也不在 durable API 之外執行無序的非同步工作。一旦破壞決定性,replay 就會與歷史紀錄分歧,編排會卡死,而不是乾淨地失敗。
挑戰
一次部署後,一批帳務編排停止推進。orchestrator 直接呼叫系統時鐘來計算截止時間、在程式內直接產生 correlation GUID,而且從 orchestrator 而不是從 activity 發出 HTTP 呼叫。既有的執行中執行個體,其歷史紀錄是新程式碼無法重現的,因此全部停滯;又因為它們沒有被標示為失敗,所以沒有觸發任何失敗告警。
環境
Azure 上的 Durable Functions,以 fan-out/fan-in 模式執行帳務編排,橫跨多個 activity function 與外部呼叫。AceMQ 負責客戶的 orchestrator 與 activity 程式碼;平台由 Microsoft 維運。
做法
AceMQ 檢查卡住編排的執行個體歷史紀錄,找出 replay 分歧的位置,而這直接指向不具決定性的呼叫。我們修正了 orchestrator,再審慎處理既有的執行中執行個體:有些可以繼續執行,有些則必須終止,並從已知安全的時間點重新執行。
解決方案
- 檢查執行個體的事件歷史紀錄,精確找出 replay 與已記錄歷史分歧之處
- 以 durable context 具決定性的目前時間取代直接讀取時鐘
- 將 GUID 產生與所有 I/O 移出 orchestrator,改放到 activity function 中
- 將執行中的執行個體分為可繼續執行與需終止後重新執行兩組,並以冪等方式重新執行
- 採用版本化的 orchestrator,讓日後的變更不會破壞已在執行中的執行個體
- 針對編排存續時間與卡住的執行個體數量設定告警,而不只針對失敗
成效
停滯的帳務編排全部排除,且沒有造成重複收費;而 orchestrator 版本化也讓部署不再有卡死所有執行中執行個體的風險。