返回所有使用案例

技術支援能源/公用事業

因為 replay 與歷史紀錄不再一致,編排永遠無法完成

公用事業帳務服務商

部署後因 orchestrator 程式碼不具決定性而破壞 replay,導致 Durable Functions 編排卡在半途,協助將其恢復。

概覽

Durable Functions 的 orchestrator 是透過依事件歷史紀錄重播(replay)程式碼來運作的。前提是 orchestrator 必須具有決定性:不直接讀取時鐘、不使用隨機值、不做 I/O,也不在 durable API 之外執行無序的非同步工作。一旦破壞決定性,replay 就會與歷史紀錄分歧,編排會卡死,而不是乾淨地失敗。

挑戰

一次部署後,一批帳務編排停止推進。orchestrator 直接呼叫系統時鐘來計算截止時間、在程式內直接產生 correlation GUID,而且從 orchestrator 而不是從 activity 發出 HTTP 呼叫。既有的執行中執行個體,其歷史紀錄是新程式碼無法重現的,因此全部停滯;又因為它們沒有被標示為失敗,所以沒有觸發任何失敗告警。

環境

Azure 上的 Durable Functions,以 fan-out/fan-in 模式執行帳務編排,橫跨多個 activity function 與外部呼叫。AceMQ 負責客戶的 orchestrator 與 activity 程式碼;平台由 Microsoft 維運。

做法

AceMQ 檢查卡住編排的執行個體歷史紀錄,找出 replay 分歧的位置,而這直接指向不具決定性的呼叫。我們修正了 orchestrator,再審慎處理既有的執行中執行個體:有些可以繼續執行,有些則必須終止,並從已知安全的時間點重新執行。

解決方案

  1. 檢查執行個體的事件歷史紀錄,精確找出 replay 與已記錄歷史分歧之處
  2. 以 durable context 具決定性的目前時間取代直接讀取時鐘
  3. 將 GUID 產生與所有 I/O 移出 orchestrator,改放到 activity function 中
  4. 將執行中的執行個體分為可繼續執行與需終止後重新執行兩組,並以冪等方式重新執行
  5. 採用版本化的 orchestrator,讓日後的變更不會破壞已在執行中的執行個體
  6. 針對編排存續時間與卡住的執行個體數量設定告警,而不只針對失敗

成效

停滯的帳務編排全部排除,且沒有造成重複收費;而 orchestrator 版本化也讓部署不再有卡死所有執行中執行個體的風險。

技術

Azure FunctionsAzure Service BusPostgreSQLDocker

需要專業的 Azure Functions 技術支援嗎?

AceMQ 的資深 Azure Functions 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。