Volver a todos los casos de uso

RemediaciónMultisectorial

App saludable, sin errores, sin ejecuciones: revise la storage account

Aseguradora de daños y responsabilidad civil

Diagnóstico de funciones que dejaron de activarse sin aviso después de un cambio en la conectividad de la storage account: una dependencia que tiene el runtime pero que el código de la aplicación nunca menciona.

Descripción general

El runtime de Azure Functions depende de su storage account asociada para el estado de los triggers, los calendarios de los timers, los blob receipts, los singleton locks y el almacenamiento de las function keys. Cuando esa storage account deja de ser accesible (por una regla de firewall, un cambio en un private endpoint o una clave rotada), la app puede parecer saludable mientras los triggers dejan de dispararse sin aviso. Es uno de los modos de falla menos evidentes de la plataforma, porque nada en el código de la aplicación hace referencia al almacenamiento.

Desafío

Las funciones activadas por timer y por blob dejaron de ejecutarse sin errores y sin invocaciones fallidas, porque directamente no había invocaciones. Un cambio de red había habilitado reglas de firewall en el almacenamiento que excluían las direcciones salientes de la function app. El monitoreo alertaba sobre la tasa de fallas y no sobre la cantidad de ejecuciones esperada, así que la ausencia de ejecuciones no generó ninguna alerta.

Entorno

Azure Functions en un plan Elastic Premium con triggers de timer, blob y colas, en una suscripción que atravesaba un programa de endurecimiento de la seguridad de red. AceMQ trabaja sobre las function apps, la configuración y el diseño de integración del cliente; Microsoft opera la plataforma.

Enfoque

AceMQ partió de las dependencias propias del runtime y no del código de la aplicación: verificó la accesibilidad de la storage account, el parámetro de conexión que resuelve el runtime y los contenedores de estado de los triggers que este mantiene. Una vez restablecida la conectividad, reconstruimos el monitoreo en torno a la cantidad de ejecuciones esperadas, ya que una alerta por tasa de fallas nunca puede detectar un trigger que no se dispara.

Solución

  1. Verificación, en primer lugar, de la accesibilidad de la storage account del runtime, los parámetros de conexión y los contenedores de estado de los triggers
  2. Corrección de la configuración del firewall de almacenamiento y de los private endpoints para permitir el acceso del runtime de la function app
  3. Separación de la storage account propia del runtime del almacenamiento de datos de la aplicación, para que sus políticas puedan diferir de forma segura
  4. Reemplazo de las alertas por tasa de fallas por alertas sobre la cantidad de ejecuciones esperadas por trigger
  5. Incorporación de una función sintética de heartbeat para comprobar la ruta del trigger de punta a punta
  6. Documentación de la dependencia de almacenamiento del runtime para el proceso de revisión de cambios del equipo de redes

Resultado final

Los triggers se reanudaron y se cerró la brecha de monitoreo que había permitido una caída silenciosa de varios días. La dependencia de almacenamiento ahora forma parte del checklist de cambios del equipo de redes, en lugar de ser un conocimiento informal.

Tecnologías

Azure FunctionsAzure Service BusDockerPostgreSQL

¿Enfrenta un problema de Azure Functions en producción?

Los ingenieros sénior de Azure Functions de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.