返回所有使用案例

問題修復跨產業

應用程式正常、沒有錯誤、也沒有執行:請檢查儲存體帳戶

產物與意外保險公司

診斷在儲存體帳戶連線變更後悄悄停止觸發的函式,這是執行環境具有、應用程式程式碼卻從未提及的相依關係。

概覽

Azure Functions 執行環境依賴其關聯的儲存體帳戶,來保存觸發狀態、計時器排程、blob receipt、singleton lock 與函式金鑰。當該儲存體帳戶無法連線時,例如防火牆規則、私人端點變更或金鑰輪替,應用程式看起來可能一切正常,觸發卻悄悄停止。這是平台上最不明顯的故障模式之一,因為應用程式程式碼中沒有任何地方引用儲存體。

挑戰

計時器觸發與 blob 觸發的函式停止執行,沒有錯誤,也沒有失敗的呼叫,因為根本沒有任何呼叫。一次網路變更啟用了儲存體防火牆規則,而規則排除了 function app 的對外位址。監控是針對失敗率而非預期的執行次數發出告警,因此執行次數歸零完全不會觸發任何告警。

環境

Elastic Premium 方案上的 Azure Functions,具有計時器、blob 與佇列觸發,所在的訂用帳戶正在進行網路安全強化計畫。AceMQ 負責客戶的 function app、設定與整合設計;平台由 Microsoft 維運。

做法

AceMQ 從執行環境本身的相依關係而非應用程式程式碼著手,檢查儲存體帳戶的連線能力、執行環境解析的連線設定,以及它所維護的觸發狀態容器。恢復連線後,我們以預期的執行次數為核心重建監控,因為失敗率告警永遠偵測不到一個從未觸發的觸發程序。

解決方案

  1. 優先驗證執行環境的儲存體帳戶連線能力、連線設定與觸發狀態容器
  2. 修正儲存體防火牆與私人端點設定,允許 function app 執行環境存取
  3. 將執行環境專用的儲存體帳戶與應用程式資料儲存分開,讓兩者的政策能安全地各自調整
  4. 以各觸發程序的預期執行次數告警,取代失敗率告警
  5. 新增合成心跳函式,端到端證明觸發路徑正常運作
  6. 為網路團隊的變更審查流程記錄執行環境的儲存體相依關係

成效

觸發恢復運作,而曾讓服務悄悄中斷數天的監控缺口也已補上。儲存體相依關係現在已列入網路團隊的變更檢查清單,而不再只是少數人才知道的經驗。

技術

Azure FunctionsAzure Service BusDockerPostgreSQL

正面臨 Azure Functions 正式環境問題嗎?

AceMQ 的資深 Azure Functions 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。