Retour à tous les cas d'usage

RemédiationMultisectoriel

Application en bonne santé, aucune erreur, aucune exécution : vérifiez le compte de stockage

Assureur IARD

Diagnostic de fonctions qui avaient cessé de se déclencher, sans le moindre signal, après une modification de la connectivité du compte de stockage — une dépendance du runtime que le code applicatif ne mentionne jamais.

Présentation

Le runtime Azure Functions dépend du compte de stockage qui lui est associé pour l'état des triggers, les plannings des timers, les reçus des blobs, les verrous singleton et le stockage des clés de fonctions. Lorsque ce compte de stockage devient inaccessible (règle de pare-feu, modification d'un private endpoint, clé renouvelée), l'application peut sembler en bonne santé alors que les triggers ont cessé de se déclencher sans aucun signal. C'est l'un des modes de défaillance les moins évidents de la plateforme, car rien dans le code applicatif ne fait référence au stockage.

Défi

Les fonctions déclenchées par timer et par blob ont cessé de s'exécuter sans erreur ni invocation en échec, pour la simple raison qu'il n'y avait plus aucune invocation. Une modification réseau avait activé sur le stockage des règles de pare-feu qui excluaient les adresses sortantes de la function app. La supervision alertait sur le taux d'échec et non sur le nombre d'exécutions attendu : une absence d'exécutions ne déclenchait donc aucune alerte.

Environnement

Azure Functions sur un plan Elastic Premium avec des triggers timer, blob et file d'attente, dans un abonnement faisant l'objet d'un programme de durcissement de la sécurité réseau. AceMQ intervient sur les function apps, la configuration et la conception des intégrations du client — Microsoft exploite la plateforme.

Approche

AceMQ est parti des dépendances propres au runtime plutôt que du code applicatif, en vérifiant l'accessibilité du compte de stockage, le paramètre de connexion que résout le runtime et les conteneurs d'état des triggers qu'il gère. Une fois la connectivité rétablie, nous avons reconstruit la supervision autour du nombre d'exécutions attendu, car une alerte sur le taux d'échec ne pourra jamais détecter un trigger qui ne se déclenche pas.

Solution

  1. Vérification prioritaire de l'accessibilité du compte de stockage du runtime, des paramètres de connexion et des conteneurs d'état des triggers
  2. Correction de la configuration du pare-feu du stockage et des private endpoints pour autoriser l'accès du runtime de la function app
  3. Séparation du compte de stockage propre au runtime et du stockage des données applicatives, pour que leurs politiques puissent diverger sans risque
  4. Remplacement des alertes sur le taux d'échec par des alertes sur le nombre d'exécutions attendu, pour chaque trigger
  5. Ajout d'une fonction de heartbeat synthétique pour prouver le bon fonctionnement du chemin de déclenchement de bout en bout
  6. Documentation de la dépendance du runtime au stockage dans le processus de revue des changements de l'équipe réseau

Résultat obtenu

Les triggers ont repris et la lacune de supervision qui avait permis une panne silencieuse de plusieurs jours a été comblée. La dépendance au stockage figure désormais dans la checklist de changements de l'équipe réseau, au lieu de relever du savoir tacite.

Technologies

Azure FunctionsAzure Service BusDockerPostgreSQL

Confronté à un incident de production Azure Functions ?

Les ingénieurs Azure Functions seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.