Überblick
Die Runtime von Azure Functions ist für Trigger-Zustand, Timer-Zeitpläne, Blob Receipts, Singleton Locks und die Speicherung der Function Keys auf ihr zugehöriges Storage Account angewiesen. Wird dieses Storage Account unerreichbar – durch eine Firewall-Regel, eine Änderung am Private Endpoint oder einen rotierten Key –, kann die App gesund wirken, während die Trigger unbemerkt nicht mehr auslösen. Das ist einer der am wenigsten offensichtlichen Fehlermodi der Plattform, weil im Anwendungscode nichts auf das Storage verweist.
Herausforderung
Timer- und Blob-getriggerte Functions wurden nicht mehr ausgeführt – ohne Fehler und ohne fehlgeschlagene Aufrufe, weil es schlicht gar keine Aufrufe gab. Eine Netzwerkänderung hatte Firewall-Regeln für das Storage aktiviert, die die ausgehenden Adressen der Function App ausschlossen. Das Monitoring alarmierte auf die Fehlerrate statt auf die erwartete Zahl an Ausführungen, sodass ausbleibende Ausführungen überhaupt keinen Alert auslösten.
Umgebung
Azure Functions auf einem Elastic-Premium-Plan mit Timer-, Blob- und Queue-Triggern in einer Subscription, für die gerade ein Programm zur Verschärfung der Netzwerksicherheit lief. AceMQ arbeitet an den Function Apps, der Konfiguration und dem Integrationsdesign des Kunden – die Plattform betreibt Microsoft.
Vorgehen
AceMQ begann bei den Abhängigkeiten der Runtime selbst statt beim Anwendungscode und prüfte die Erreichbarkeit des Storage Accounts, die von der Runtime aufgelöste Connection-Einstellung und die von ihr gepflegten Container für den Trigger-Zustand. Nach Wiederherstellung der Konnektivität bauten wir das Monitoring um die erwartete Zahl an Ausführungen herum neu auf, denn ein Alert auf die Fehlerrate kann einen Trigger, der nie auslöst, grundsätzlich nicht erkennen.
Lösung
- Zuerst Erreichbarkeit des Storage Accounts der Runtime, Connection-Einstellungen und Container für den Trigger-Zustand verifiziert
- Firewall- und Private-Endpoint-Konfiguration des Storage so korrigiert, dass die Runtime der Function App Zugriff hat
- Das eigene Storage Account der Runtime vom Storage für Anwendungsdaten getrennt, damit deren Richtlinien gefahrlos voneinander abweichen können
- Alerting auf die Fehlerrate durch Alerting auf die erwartete Zahl an Ausführungen je Trigger ersetzt
- Eine synthetische Heartbeat-Function ergänzt, die den Trigger-Pfad End-to-End belegt
- Die Storage-Abhängigkeit der Runtime für den Change-Review-Prozess des Netzwerkteams dokumentiert
Resultat
Die Trigger lösen wieder aus, und die Monitoring-Lücke, die einen stillen, mehrtägigen Ausfall ermöglicht hatte, ist geschlossen. Die Storage-Abhängigkeit steht jetzt auf der Change-Checkliste des Netzwerkteams, statt nur als Erfahrungswissen in einzelnen Köpfen zu existieren.