Überblick
Eine Azure-Functions-Landschaft ist nur so solide wie ihr Trigger-Design. Service Bus, Event Hubs oder Storage Queues – das ist eine Entscheidung über Reihenfolge, Durchsatz und Zustellsemantik. Und die Concurrency-Einstellungen pro Function verhindern, dass eine skalierende Function App alles plattmacht, was sie aufruft.
Herausforderung
Trigger waren von Fall zu Fall ausgewählt worden, ohne dokumentierte Begründung. Reihenfolgesensible Sendungsereignisse liefen auf einem Trigger ohne Session-Unterstützung, sodass Statusupdates in falscher Reihenfolge angewendet werden konnten. Mit den Standardeinstellungen für die Host-Concurrency konnte eine Function App so stark horizontal skalieren, dass sie das Rate Limit einer nachgelagerten API ausschöpfte. Eine Behandlung von Poison Messages gab es bei manchen Functions, bei anderen nicht, sodass Fehler mitunter stillschweigend verworfen wurden.
Umgebung
Azure Functions mit Integration von Service Bus, Event Streams und externen Partner-APIs, daneben selbst betriebene Messaging-Infrastruktur. AceMQ entwirft die Event-Architektur des Kunden; Microsoft betreibt die Plattform.
Vorgehen
AceMQ ordnete die Anforderungen jedes Event-Flows an Reihenfolge, Durchsatz und Zustellung einem bestimmten Trigger-Typ zu, mit dokumentierter Begründung, und setzte dann die Concurrency auf Host- und Function-Ebene passend zur Kapazität der nachgelagerten Systeme. Da die Landschaft sowohl Cloud-Messaging als auch selbst betriebene Broker umfasst, haben wir die Grenzen zwischen beiden explizit gestaltet, statt sie verschwimmen zu lassen.
Lösung
- Jedem Event-Flow einen Trigger-Typ anhand von Reihenfolge, Durchsatz und Zustellgarantien zugeordnet
- Messaging mit Sessions für Sendungsflüsse eingeführt, die eine Reihenfolge pro Entität erfordern
- Concurrency-Limits für Host und Functions festgelegt, dimensioniert nach der Kapazität nachgelagerter APIs und Datenbanken
- Behandlung von Poison Messages und Prüfung von Dead Letters über alle Function Apps vereinheitlicht
- Grenze und Bridging-Muster zwischen Cloud-Messaging und selbst betriebenen Brokern definiert
- Konventionen für Idempotenz und Correlation IDs eingeführt, damit Retries und Tracing einheitlich funktionieren
Resultat
Statusupdates zu Sendungen in falscher Reihenfolge gehören der Vergangenheit an, die nachgelagerte Partner-API wird nicht mehr durch sprunghaftes Scale-out ausgebremst, und jede Function App hat jetzt einen einheitlichen, dokumentierten Fehlerpfad.