概覽
Azure Functions 執行環境依賴其關聯的儲存體帳戶,來保存觸發狀態、計時器排程、blob receipt、singleton lock 與函式金鑰。當該儲存體帳戶無法連線時,例如防火牆規則、私人端點變更或金鑰輪替,應用程式看起來可能一切正常,觸發卻悄悄停止。這是平台上最不明顯的故障模式之一,因為應用程式程式碼中沒有任何地方引用儲存體。
挑戰
計時器觸發與 blob 觸發的函式停止執行,沒有錯誤,也沒有失敗的呼叫,因為根本沒有任何呼叫。一次網路變更啟用了儲存體防火牆規則,而規則排除了 function app 的對外位址。監控是針對失敗率而非預期的執行次數發出告警,因此執行次數歸零完全不會觸發任何告警。
環境
Elastic Premium 方案上的 Azure Functions,具有計時器、blob 與佇列觸發,所在的訂用帳戶正在進行網路安全強化計畫。AceMQ 負責客戶的 function app、設定與整合設計;平台由 Microsoft 維運。
做法
AceMQ 從執行環境本身的相依關係而非應用程式程式碼著手,檢查儲存體帳戶的連線能力、執行環境解析的連線設定,以及它所維護的觸發狀態容器。恢復連線後,我們以預期的執行次數為核心重建監控,因為失敗率告警永遠偵測不到一個從未觸發的觸發程序。
解決方案
- 優先驗證執行環境的儲存體帳戶連線能力、連線設定與觸發狀態容器
- 修正儲存體防火牆與私人端點設定,允許 function app 執行環境存取
- 將執行環境專用的儲存體帳戶與應用程式資料儲存分開,讓兩者的政策能安全地各自調整
- 以各觸發程序的預期執行次數告警,取代失敗率告警
- 新增合成心跳函式,端到端證明觸發路徑正常運作
- 為網路團隊的變更審查流程記錄執行環境的儲存體相依關係
成效
觸發恢復運作,而曾讓服務悄悄中斷數天的監控缺口也已補上。儲存體相依關係現在已列入網路團隊的變更檢查清單,而不再只是少數人才知道的經驗。