Volver a todos los casos de uso

RemediaciónMultisectorial

App sana, sin errores y sin ejecuciones: revise la cuenta de almacenamiento

Aseguradora de daños y responsabilidad civil

Diagnóstico de funciones que dejaron de activarse sin dar ningún error tras un cambio en la conectividad de la cuenta de almacenamiento, una dependencia que tiene el runtime pero que el código de la aplicación nunca menciona.

Descripción general

El runtime de Azure Functions depende de su cuenta de almacenamiento asociada para el estado de los triggers, las programaciones de los temporizadores, los recibos de blobs, los bloqueos singleton y el almacenamiento de las claves de las funciones. Cuando esa cuenta de almacenamiento deja de ser accesible (por una regla de firewall, un cambio en un private endpoint o una clave rotada), la app puede parecer sana mientras los triggers dejan de dispararse sin hacer ruido. Es uno de los modos de fallo menos evidentes de la plataforma, porque nada en el código de la aplicación hace referencia al almacenamiento.

Reto

Las funciones activadas por temporizador y por blob dejaron de ejecutarse sin errores ni invocaciones fallidas, porque no había ninguna invocación. Un cambio de red había activado reglas de firewall en el almacenamiento que excluían las direcciones salientes de la function app. La monitorización alertaba sobre la tasa de fallos y no sobre el número de ejecuciones esperado, de modo que la ausencia de ejecuciones no generó ninguna alerta.

Entorno

Azure Functions en un plan Elastic Premium con triggers de temporizador, blob y cola, en una suscripción inmersa en un programa de refuerzo de la seguridad de red. AceMQ trabaja sobre las function apps, la configuración y el diseño de integración del cliente; Microsoft opera la plataforma.

Enfoque

AceMQ partió de las dependencias del propio runtime y no del código de la aplicación: comprobó la accesibilidad de la cuenta de almacenamiento, el parámetro de conexión que resuelve el runtime y los contenedores de estado de los triggers que mantiene. Una vez restablecida la conectividad, rehicimos la monitorización en torno al número de ejecuciones esperado, porque una alerta basada en la tasa de fallos nunca puede detectar un trigger que no se dispara.

Solución

  1. Verificación prioritaria de la accesibilidad de la cuenta de almacenamiento del runtime, de los parámetros de conexión y de los contenedores de estado de los triggers
  2. Corrección del firewall del almacenamiento y de la configuración del private endpoint para permitir el acceso del runtime de la function app
  3. Separación de la cuenta de almacenamiento del propio runtime y del almacenamiento de datos de la aplicación para que sus políticas puedan divergir con seguridad
  4. Sustitución de las alertas por tasa de fallos por alertas sobre el número de ejecuciones esperado en cada trigger
  5. Incorporación de una función sintética de heartbeat para comprobar de extremo a extremo la ruta del trigger
  6. Documentación de la dependencia del runtime respecto al almacenamiento para el proceso de revisión de cambios del equipo de red

Resultado final

Los triggers volvieron a funcionar y se cerró el hueco de monitorización que había permitido una caída silenciosa de varios días. La dependencia del almacenamiento forma parte ahora de la lista de comprobación de cambios del equipo de red, en lugar de ser un conocimiento que solo tienen unos pocos.

Tecnologías

Azure FunctionsAzure Service BusDockerPostgreSQL

¿Se enfrenta a un problema de Azure Functions en producción?

Los ingenieros sénior de Azure Functions de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.