Visão geral
O runtime do Azure Functions depende da storage account associada para guardar o estado dos triggers, os agendamentos dos timers, os recibos de blobs, os locks de singleton e as chaves das funções. Quando essa storage account fica inacessível (por uma regra de firewall, uma mudança no private endpoint, uma chave rotacionada), o app pode parecer saudável enquanto os triggers param de disparar silenciosamente. É um dos modos de falha menos óbvios da plataforma, porque nada no código da aplicação faz referência ao storage.
Desafio
Funções acionadas por timer e por blob pararam de executar sem nenhum erro e sem invocações com falha, porque simplesmente não havia invocações. Uma mudança de rede tinha ativado regras de firewall no storage que excluíam os endereços de saída do function app. O monitoramento alertava sobre a taxa de falhas, e não sobre o número esperado de execuções, então a ausência de execuções não gerou alerta nenhum.
Ambiente
Azure Functions em um plano Elastic Premium com triggers de timer, blob e fila, em uma assinatura passando por um programa de endurecimento da segurança de rede. A AceMQ atua nos function apps, na configuração e no design de integração do cliente; a Microsoft opera a plataforma.
Abordagem
A AceMQ partiu das dependências do próprio runtime, e não do código da aplicação, verificando a acessibilidade da storage account, a configuração de conexão que o runtime resolve e os contêineres de estado dos triggers que ele mantém. Restabelecida a conectividade, reconstruímos o monitoramento em torno do número esperado de execuções, já que um alerta de taxa de falhas nunca consegue detectar um trigger que nunca dispara.
Solução
- Verificação, em primeiro lugar, da acessibilidade da storage account do runtime, das configurações de conexão e dos contêineres de estado dos triggers
- Correção da configuração do firewall do storage e do private endpoint para permitir o acesso do runtime do function app
- Separação da storage account do próprio runtime do armazenamento de dados da aplicação, para que suas políticas possam divergir com segurança
- Substituição dos alertas de taxa de falhas por alertas de número esperado de execuções em cada trigger
- Inclusão de uma função sintética de heartbeat para comprovar o caminho do trigger de ponta a ponta
- Documentação da dependência de storage do runtime para o processo de revisão de mudanças da equipe de rede
Resultado obtido
Os triggers voltaram a funcionar, e a lacuna de monitoramento que permitiu uma indisponibilidade silenciosa de vários dias foi fechada. A dependência de storage agora faz parte do checklist de mudanças da equipe de rede, em vez de ser um conhecimento que só algumas pessoas tinham.