Présentation
Un parc Azure Functions ne vaut que ce que vaut la conception de ses triggers. Choisir entre Service Bus, Event Hubs et Storage Queues, c'est trancher sur l'ordre des messages, le débit et la sémantique de livraison — et ce sont les paramètres de concurrence par fonction qui empêchent une function app en pleine montée en charge d'écraser tout ce qu'elle appelle.
Défi
Les triggers avaient été choisis au cas par cas, sans justification documentée. Des événements d'expédition sensibles à l'ordre passaient par un trigger sans prise en charge des sessions, si bien que les mises à jour de statut pouvaient être appliquées dans le désordre. Les paramètres de concurrence par défaut de l'hôte laissaient une function app monter en charge au point d'épuiser la limite de débit d'une API en aval. La gestion des poison messages existait sur certaines fonctions et pas sur d'autres, si bien que des échecs étaient parfois écartés silencieusement.
Environnement
Azure Functions intégrant Service Bus, des flux d'événements et des API de partenaires externes, aux côtés d'une infrastructure de messagerie auto-hébergée. AceMQ conçoit l'architecture événementielle du client ; Microsoft exploite la plateforme.
Approche
AceMQ a associé les exigences d'ordre, de débit et de livraison de chaque flux d'événements à un type de trigger précis, avec une justification documentée, puis a réglé la concurrence au niveau de l'hôte et de chaque fonction en fonction de la capacité en aval. Comme le parc couvre à la fois la messagerie cloud et des brokers auto-hébergés, nous avons défini explicitement les frontières entre les deux au lieu de les laisser s'estomper.
Solution
- Association de chaque flux d'événements à un type de trigger selon ses garanties d'ordre, de débit et de livraison
- Adoption d'une messagerie avec sessions pour les flux d'expédition qui exigent un ordre par entité
- Limites de concurrence par hôte et par fonction dimensionnées selon la capacité des API et des bases de données en aval
- Gestion des poison messages et inspection des dead-letters standardisées sur toutes les function apps
- Définition de la frontière et du pattern de passerelle entre la messagerie cloud et les brokers auto-hébergés
- Conventions d'idempotence et d'identifiants de corrélation établies pour que les retries et le traçage fonctionnent de manière cohérente
Résultat obtenu
Les mises à jour de statut d'expédition dans le désordre ont disparu, l'API du partenaire en aval n'est plus saturée par les rafales de montée en charge, et chaque function app dispose désormais d'un chemin de défaillance cohérent et documenté.