Voltar para todos os casos de uso

CorreçãoMultissetorial

App saudável, nenhum erro, nenhuma execução: verifique a storage account

Seguradora de ramos patrimoniais

Diagnóstico de funções que pararam de ser acionadas silenciosamente após uma mudança na conectividade da storage account, uma dependência que o runtime tem, mas que o código da aplicação nunca menciona.

Visão geral

O runtime do Azure Functions depende da storage account associada para guardar o estado dos triggers, os agendamentos dos timers, os recibos de blobs, os locks de singleton e as chaves das funções. Quando essa storage account fica inacessível (por uma regra de firewall, uma mudança no private endpoint, uma chave rotacionada), o app pode parecer saudável enquanto os triggers param de disparar silenciosamente. É um dos modos de falha menos óbvios da plataforma, porque nada no código da aplicação faz referência ao storage.

Desafio

Funções acionadas por timer e por blob pararam de executar sem nenhum erro e sem invocações com falha, porque simplesmente não havia invocações. Uma mudança de rede tinha ativado regras de firewall no storage que excluíam os endereços de saída do function app. O monitoramento alertava sobre a taxa de falhas, e não sobre o número esperado de execuções, então a ausência de execuções não gerou alerta nenhum.

Ambiente

Azure Functions em um plano Elastic Premium com triggers de timer, blob e fila, em uma assinatura passando por um programa de endurecimento da segurança de rede. A AceMQ atua nos function apps, na configuração e no design de integração do cliente; a Microsoft opera a plataforma.

Abordagem

A AceMQ partiu das dependências do próprio runtime, e não do código da aplicação, verificando a acessibilidade da storage account, a configuração de conexão que o runtime resolve e os contêineres de estado dos triggers que ele mantém. Restabelecida a conectividade, reconstruímos o monitoramento em torno do número esperado de execuções, já que um alerta de taxa de falhas nunca consegue detectar um trigger que nunca dispara.

Solução

  1. Verificação, em primeiro lugar, da acessibilidade da storage account do runtime, das configurações de conexão e dos contêineres de estado dos triggers
  2. Correção da configuração do firewall do storage e do private endpoint para permitir o acesso do runtime do function app
  3. Separação da storage account do próprio runtime do armazenamento de dados da aplicação, para que suas políticas possam divergir com segurança
  4. Substituição dos alertas de taxa de falhas por alertas de número esperado de execuções em cada trigger
  5. Inclusão de uma função sintética de heartbeat para comprovar o caminho do trigger de ponta a ponta
  6. Documentação da dependência de storage do runtime para o processo de revisão de mudanças da equipe de rede

Resultado obtido

Os triggers voltaram a funcionar, e a lacuna de monitoramento que permitiu uma indisponibilidade silenciosa de vários dias foi fechada. A dependência de storage agora faz parte do checklist de mudanças da equipe de rede, em vez de ser um conhecimento que só algumas pessoas tinham.

Tecnologias

Azure FunctionsAzure Service BusDockerPostgreSQL

Enfrentando um problema de produção com Azure Functions?

Os engenheiros Azure Functions sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.