Zurück zu allen Kundenbeispielen

FehlerbehebungBranchenübergreifend

Gesunde App, keine Fehler, keine Ausführungen – prüfen Sie das Storage Account

Sach- und Haftpflichtversicherer

Diagnose von Functions, die nach einer Änderung an der Konnektivität des Storage Accounts unbemerkt nicht mehr ausgelöst wurden – eine Abhängigkeit der Runtime, die im Anwendungscode nirgends auftaucht.

Überblick

Die Runtime von Azure Functions ist für Trigger-Zustand, Timer-Zeitpläne, Blob Receipts, Singleton Locks und die Speicherung der Function Keys auf ihr zugehöriges Storage Account angewiesen. Wird dieses Storage Account unerreichbar – durch eine Firewall-Regel, eine Änderung am Private Endpoint oder einen rotierten Key –, kann die App gesund wirken, während die Trigger unbemerkt nicht mehr auslösen. Das ist einer der am wenigsten offensichtlichen Fehlermodi der Plattform, weil im Anwendungscode nichts auf das Storage verweist.

Herausforderung

Timer- und Blob-getriggerte Functions wurden nicht mehr ausgeführt – ohne Fehler und ohne fehlgeschlagene Aufrufe, weil es schlicht gar keine Aufrufe gab. Eine Netzwerkänderung hatte Firewall-Regeln für das Storage aktiviert, die die ausgehenden Adressen der Function App ausschlossen. Das Monitoring alarmierte auf die Fehlerrate statt auf die erwartete Zahl an Ausführungen, sodass ausbleibende Ausführungen überhaupt keinen Alert auslösten.

Umgebung

Azure Functions auf einem Elastic-Premium-Plan mit Timer-, Blob- und Queue-Triggern in einer Subscription, für die gerade ein Programm zur Verschärfung der Netzwerksicherheit lief. AceMQ arbeitet an den Function Apps, der Konfiguration und dem Integrationsdesign des Kunden – die Plattform betreibt Microsoft.

Vorgehen

AceMQ begann bei den Abhängigkeiten der Runtime selbst statt beim Anwendungscode und prüfte die Erreichbarkeit des Storage Accounts, die von der Runtime aufgelöste Connection-Einstellung und die von ihr gepflegten Container für den Trigger-Zustand. Nach Wiederherstellung der Konnektivität bauten wir das Monitoring um die erwartete Zahl an Ausführungen herum neu auf, denn ein Alert auf die Fehlerrate kann einen Trigger, der nie auslöst, grundsätzlich nicht erkennen.

Lösung

  1. Zuerst Erreichbarkeit des Storage Accounts der Runtime, Connection-Einstellungen und Container für den Trigger-Zustand verifiziert
  2. Firewall- und Private-Endpoint-Konfiguration des Storage so korrigiert, dass die Runtime der Function App Zugriff hat
  3. Das eigene Storage Account der Runtime vom Storage für Anwendungsdaten getrennt, damit deren Richtlinien gefahrlos voneinander abweichen können
  4. Alerting auf die Fehlerrate durch Alerting auf die erwartete Zahl an Ausführungen je Trigger ersetzt
  5. Eine synthetische Heartbeat-Function ergänzt, die den Trigger-Pfad End-to-End belegt
  6. Die Storage-Abhängigkeit der Runtime für den Change-Review-Prozess des Netzwerkteams dokumentiert

Resultat

Die Trigger lösen wieder aus, und die Monitoring-Lücke, die einen stillen, mehrtägigen Ausfall ermöglicht hatte, ist geschlossen. Die Storage-Abhängigkeit steht jetzt auf der Change-Checkliste des Netzwerkteams, statt nur als Erfahrungswissen in einzelnen Köpfen zu existieren.

Technologien

Azure FunctionsAzure Service BusDockerPostgreSQL

Haben Sie ein Produktionsproblem mit Azure Functions?

Die Senior Engineers von AceMQ für Azure Functions haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.