導入事例の一覧に戻る

是正対応業界横断

アプリは正常、エラーもなし、なのに実行もゼロ。そんなときはストレージアカウントを確認する

損害保険会社

ストレージアカウントの接続性の変更後に、関数が何の兆候もなくトリガーされなくなった問題を診断しました。ランタイムは依存しているものの、アプリケーションコードには一切登場しない依存関係です。

概要

Azure Functionsのランタイムは、トリガーの状態、タイマーのスケジュール、BLOBの受信記録、シングルトンのロック、関数キーの保存先として、関連付けられたストレージアカウントに依存しています。ファイアウォールルール、プライベートエンドポイントの変更、キーのローテーションなどでそのストレージアカウントに到達できなくなると、アプリは正常に見えたまま、トリガーだけが静かに発火しなくなることがあります。アプリケーションコードのどこにもストレージへの参照がないため、このプラットフォームで最も気づきにくい障害パターンの1つです。

課題

タイマートリガーとBLOBトリガーの関数が実行されなくなりましたが、エラーも失敗したInvocationもありませんでした。そもそもInvocationが1件もなかったからです。ネットワークの変更によってストレージのファイアウォールルールが有効になり、関数アプリの送信元アドレスが除外されていました。監視は想定される実行回数ではなく失敗率に対してアラートを出す設定だったため、実行がまったくない状態ではアラートが一切発生しませんでした。

環境

タイマー、BLOB、キューのトリガーを使用する、Elastic Premiumプラン上のAzure Functions。ネットワークセキュリティ強化プログラムが進行中のサブスクリプション。AceMQが対応するのはお客様の関数アプリ、設定、連携設計であり、プラットフォームの運用はMicrosoftが担います。

アプローチ

AceMQは、アプリケーションコードではなくランタイム自身の依存関係から調査を始め、ストレージアカウントへの到達性、ランタイムが解決する接続設定、ランタイムが管理するトリガー状態のコンテナを確認しました。接続を回復した後は、想定される実行回数を軸に監視を再構築しました。失敗率のアラートでは、一度も発火しないトリガーを検知することは決してできないからです。

ソリューション

  1. まず、ランタイムのストレージアカウントへの到達性、接続設定、トリガー状態のコンテナを検証
  2. ストレージのファイアウォールとプライベートエンドポイントの設定を修正し、関数アプリのランタイムからのアクセスを許可
  3. ランタイム専用のストレージアカウントをアプリケーションデータ用のストレージから分離し、両者のポリシーを安全に分けられるように
  4. 失敗率に基づくアラートを、トリガーごとの想定実行回数に基づくアラートに置き換え
  5. 合成ハートビート関数を追加し、トリガーの経路をエンドツーエンドで確認
  6. ネットワークチームの変更レビュープロセス向けに、ランタイムのストレージ依存関係を文書化

結果

トリガーは再開し、数日間にわたる静かな停止を許した監視の穴は塞がれました。ストレージへの依存関係は、一部の人だけが知る暗黙知ではなく、ネットワークチームの変更チェックリストの一部になっています。

使用テクノロジー

Azure FunctionsAzure Service BusDockerPostgreSQL

Azure Functionsの本番環境で問題が発生していますか?

AceMQのシニアAzure Functionsエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。