Visão geral
Um ambiente de Azure Functions só é tão sólido quanto o desenho dos seus triggers. Service Bus, Event Hubs ou Storage Queues é uma decisão sobre ordenação, throughput e semântica de entrega — e as configurações de concorrência por função são o que impede uma function app em escala de derrubar tudo o que ela chama.
Desafio
A escolha dos triggers vinha sendo feita caso a caso, sem nenhuma justificativa documentada. Eventos de remessa sensíveis à ordem rodavam em um trigger sem suporte a sessões, então as atualizações de status podiam ser aplicadas fora de ordem. As configurações padrão de concorrência do host permitiam que uma function app escalasse a ponto de esgotar o rate limit de uma API downstream. O tratamento de poison messages existia em algumas funções e em outras não, então às vezes as falhas eram descartadas silenciosamente.
Ambiente
Azure Functions integrando Service Bus, streams de eventos e APIs externas de parceiros, ao lado de uma infraestrutura de mensageria self-hosted. A AceMQ desenha a arquitetura de eventos do cliente; a Microsoft opera a plataforma.
Abordagem
A AceMQ mapeou os requisitos de ordenação, throughput e entrega de cada fluxo de eventos para um tipo específico de trigger, com a justificativa documentada, e depois definiu a concorrência no nível do host e por função de acordo com a capacidade downstream. Como o ambiente abrange tanto mensageria em nuvem quanto brokers self-hosted, desenhamos explicitamente as fronteiras entre os dois, em vez de deixá-las se confundirem.
Solução
- Cada fluxo de eventos associado a um tipo de trigger com base nas garantias de ordenação, throughput e entrega
- Adoção de mensageria com sessões para os fluxos de remessas que exigem ordenação por entidade
- Limites de concorrência no host e por função dimensionados para a capacidade das APIs e dos bancos de dados downstream
- Tratamento de poison messages e inspeção de dead-letter padronizados em todas as function apps
- Definição da fronteira e do padrão de ponte entre a mensageria em nuvem e os brokers self-hosted
- Convenções de idempotência e de correlation ID estabelecidas para que retentativas e rastreamento funcionem de forma consistente
Resultado obtido
As atualizações de status de remessas fora de ordem foram eliminadas, a API do parceiro downstream deixou de sofrer rate limiting por causa de scale-out em rajada, e todas as function apps agora têm um caminho de falha consistente e documentado.