Descripción general
El runtime de Azure Functions depende de su storage account asociada para el estado de los triggers, los calendarios de los timers, los blob receipts, los singleton locks y el almacenamiento de las function keys. Cuando esa storage account deja de ser accesible (por una regla de firewall, un cambio en un private endpoint o una clave rotada), la app puede parecer saludable mientras los triggers dejan de dispararse sin aviso. Es uno de los modos de falla menos evidentes de la plataforma, porque nada en el código de la aplicación hace referencia al almacenamiento.
Desafío
Las funciones activadas por timer y por blob dejaron de ejecutarse sin errores y sin invocaciones fallidas, porque directamente no había invocaciones. Un cambio de red había habilitado reglas de firewall en el almacenamiento que excluían las direcciones salientes de la function app. El monitoreo alertaba sobre la tasa de fallas y no sobre la cantidad de ejecuciones esperada, así que la ausencia de ejecuciones no generó ninguna alerta.
Entorno
Azure Functions en un plan Elastic Premium con triggers de timer, blob y colas, en una suscripción que atravesaba un programa de endurecimiento de la seguridad de red. AceMQ trabaja sobre las function apps, la configuración y el diseño de integración del cliente; Microsoft opera la plataforma.
Enfoque
AceMQ partió de las dependencias propias del runtime y no del código de la aplicación: verificó la accesibilidad de la storage account, el parámetro de conexión que resuelve el runtime y los contenedores de estado de los triggers que este mantiene. Una vez restablecida la conectividad, reconstruimos el monitoreo en torno a la cantidad de ejecuciones esperadas, ya que una alerta por tasa de fallas nunca puede detectar un trigger que no se dispara.
Solución
- Verificación, en primer lugar, de la accesibilidad de la storage account del runtime, los parámetros de conexión y los contenedores de estado de los triggers
- Corrección de la configuración del firewall de almacenamiento y de los private endpoints para permitir el acceso del runtime de la function app
- Separación de la storage account propia del runtime del almacenamiento de datos de la aplicación, para que sus políticas puedan diferir de forma segura
- Reemplazo de las alertas por tasa de fallas por alertas sobre la cantidad de ejecuciones esperadas por trigger
- Incorporación de una función sintética de heartbeat para comprobar la ruta del trigger de punta a punta
- Documentación de la dependencia de almacenamiento del runtime para el proceso de revisión de cambios del equipo de redes
Resultado final
Los triggers se reanudaron y se cerró la brecha de monitoreo que había permitido una caída silenciosa de varios días. La dependencia de almacenamiento ahora forma parte del checklist de cambios del equipo de redes, en lugar de ser un conocimiento informal.