Przegląd
Środowisko uruchomieniowe Azure Functions zależy od powiązanego konta magazynu w zakresie stanu wyzwalaczy, harmonogramów timerów, potwierdzeń blobów, blokad singleton i przechowywania kluczy funkcji. Gdy to konto staje się nieosiągalne — przez regułę firewalla, zmianę private endpointu lub zrotowany klucz — aplikacja może wyglądać na zdrową, podczas gdy wyzwalacze po cichu przestają działać. To jeden z najmniej oczywistych trybów awarii na tej platformie, bo nic w kodzie aplikacji nie odwołuje się do magazynu.
Wyzwanie
Funkcje wyzwalane timerem i blobem przestały się wykonywać bez żadnych błędów i nieudanych wywołań, bo wywołań w ogóle nie było. Zmiana sieciowa włączyła reguły firewalla magazynu, które wykluczyły adresy wychodzące aplikacji funkcji. Monitoring alarmował na podstawie odsetka błędów, a nie oczekiwanej liczby wykonań, więc brak wykonań nie wygenerował żadnego alertu.
Środowisko
Azure Functions na planie Elastic Premium z wyzwalaczami timer, blob i queue, w subskrypcji objętej programem zaostrzania bezpieczeństwa sieci. AceMQ pracuje nad aplikacjami funkcji, konfiguracją i projektem integracji klienta — platformę obsługuje Microsoft.
Podejście
AceMQ zaczęło od zależności samego środowiska uruchomieniowego, a nie od kodu aplikacji, sprawdzając osiągalność konta magazynu, ustawienie połączenia rozwiązywane przez środowisko uruchomieniowe i utrzymywane przez nie kontenery stanu wyzwalaczy. Po przywróceniu łączności przebudowaliśmy monitoring wokół oczekiwanej liczby wykonań, bo alert oparty na odsetku błędów nigdy nie wykryje wyzwalacza, który w ogóle się nie uruchamia.
Rozwiązanie
- Weryfikacja w pierwszej kolejności osiągalności konta magazynu środowiska uruchomieniowego, ustawień połączenia i kontenerów stanu wyzwalaczy
- Korekta konfiguracji firewalla magazynu i private endpointów, aby umożliwić dostęp środowisku uruchomieniowemu aplikacji funkcji
- Oddzielenie konta magazynu środowiska uruchomieniowego od magazynu danych aplikacji, aby ich polityki mogły się bezpiecznie różnić
- Zastąpienie alertów opartych na odsetku błędów alertami opartymi na oczekiwanej liczbie wykonań dla każdego wyzwalacza
- Dodanie syntetycznej funkcji heartbeat, która potwierdza działanie ścieżki wyzwalania od początku do końca
- Udokumentowanie zależności środowiska uruchomieniowego od magazynu na potrzeby procesu przeglądu zmian zespołu sieciowego
Efekt
Wyzwalacze wznowiły działanie, a luka w monitoringu, która umożliwiła cichą, kilkudniową awarię, została zamknięta. Zależność od magazynu jest teraz częścią listy kontrolnej zmian zespołu sieciowego, a nie wiedzą przekazywaną nieformalnie.