Torna a tutti i casi d'uso

RemediationTrasversale

App in salute, nessun errore, nessuna esecuzione: controllate lo storage account

Compagnia assicurativa danni

Diagnosi di funzioni che avevano smesso silenziosamente di attivarsi dopo una modifica alla connettività dello storage account: una dipendenza del runtime che il codice applicativo non menziona mai.

Panoramica

Il runtime di Azure Functions dipende dallo storage account associato per lo stato dei trigger, le pianificazioni dei timer, le ricevute dei blob, i lock singleton e l'archiviazione delle function key. Quando quello storage account diventa irraggiungibile (per una regola firewall, una modifica a un private endpoint, una chiave ruotata) l'app può sembrare in salute mentre i trigger smettono silenziosamente di attivarsi. È una delle modalità di guasto meno evidenti della piattaforma, perché nulla nel codice applicativo fa riferimento allo storage.

Sfida

Le funzioni con trigger timer e blob avevano smesso di essere eseguite senza errori né invocazioni fallite, perché di invocazioni non ce n'erano affatto. Una modifica di rete aveva attivato regole firewall sullo storage che escludevano gli indirizzi in uscita della function app. Il monitoraggio generava alert sul tasso di errore anziché sul numero di esecuzioni attese, per cui l'assenza di esecuzioni non produceva alcun alert.

Ambiente

Azure Functions su un piano Elastic Premium con trigger timer, blob e queue, in una subscription interessata da un programma di rafforzamento della sicurezza di rete. AceMQ interviene su function app, configurazione e design delle integrazioni del cliente; la piattaforma è gestita da Microsoft.

Approccio

AceMQ è partita dalle dipendenze del runtime stesso anziché dal codice applicativo, verificando la raggiungibilità dello storage account, l'impostazione di connessione che il runtime risolve e i container di stato dei trigger che gestisce. Una volta ripristinata la connettività, abbiamo ricostruito il monitoraggio attorno al numero di esecuzioni attese, perché un alert sul tasso di errore non potrà mai rilevare un trigger che non si attiva.

Soluzione

  1. Verificati per primi la raggiungibilità dello storage account del runtime, le impostazioni di connessione e i container di stato dei trigger
  2. Corretta la configurazione di firewall dello storage e private endpoint per consentire l'accesso del runtime della function app
  3. Storage account del runtime separato dallo storage dei dati applicativi, così che le rispettive policy possano divergere in sicurezza
  4. Alert sul tasso di errore sostituiti da alert sul numero di esecuzioni attese per ciascun trigger
  5. Aggiunta una funzione heartbeat sintetica per verificare end-to-end il percorso dei trigger
  6. Dipendenza del runtime dallo storage documentata per il processo di revisione delle modifiche del team di rete

Esito

I trigger hanno ripreso a funzionare ed è stata colmata la lacuna di monitoraggio che aveva permesso un disservizio silenzioso di più giorni. La dipendenza dallo storage fa ora parte della checklist delle modifiche del team di rete, invece di restare un sapere tramandato a voce.

Tecnologie

Azure FunctionsAzure Service BusDockerPostgreSQL

Avete un problema di produzione su Azure Functions?

Gli ingegneri Azure Functions senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.