概要
Azure Functionsのランタイムは、トリガーの状態、タイマーのスケジュール、BLOBの受信記録、シングルトンのロック、関数キーの保存先として、関連付けられたストレージアカウントに依存しています。ファイアウォールルール、プライベートエンドポイントの変更、キーのローテーションなどでそのストレージアカウントに到達できなくなると、アプリは正常に見えたまま、トリガーだけが静かに発火しなくなることがあります。アプリケーションコードのどこにもストレージへの参照がないため、このプラットフォームで最も気づきにくい障害パターンの1つです。
課題
タイマートリガーとBLOBトリガーの関数が実行されなくなりましたが、エラーも失敗したInvocationもありませんでした。そもそもInvocationが1件もなかったからです。ネットワークの変更によってストレージのファイアウォールルールが有効になり、関数アプリの送信元アドレスが除外されていました。監視は想定される実行回数ではなく失敗率に対してアラートを出す設定だったため、実行がまったくない状態ではアラートが一切発生しませんでした。
環境
タイマー、BLOB、キューのトリガーを使用する、Elastic Premiumプラン上のAzure Functions。ネットワークセキュリティ強化プログラムが進行中のサブスクリプション。AceMQが対応するのはお客様の関数アプリ、設定、連携設計であり、プラットフォームの運用はMicrosoftが担います。
アプローチ
AceMQは、アプリケーションコードではなくランタイム自身の依存関係から調査を始め、ストレージアカウントへの到達性、ランタイムが解決する接続設定、ランタイムが管理するトリガー状態のコンテナを確認しました。接続を回復した後は、想定される実行回数を軸に監視を再構築しました。失敗率のアラートでは、一度も発火しないトリガーを検知することは決してできないからです。
ソリューション
- まず、ランタイムのストレージアカウントへの到達性、接続設定、トリガー状態のコンテナを検証
- ストレージのファイアウォールとプライベートエンドポイントの設定を修正し、関数アプリのランタイムからのアクセスを許可
- ランタイム専用のストレージアカウントをアプリケーションデータ用のストレージから分離し、両者のポリシーを安全に分けられるように
- 失敗率に基づくアラートを、トリガーごとの想定実行回数に基づくアラートに置き換え
- 合成ハートビート関数を追加し、トリガーの経路をエンドツーエンドで確認
- ネットワークチームの変更レビュープロセス向けに、ランタイムのストレージ依存関係を文書化
結果
トリガーは再開し、数日間にわたる静かな停止を許した監視の穴は塞がれました。ストレージへの依存関係は、一部の人だけが知る暗黙知ではなく、ネットワークチームの変更チェックリストの一部になっています。