Powrót do wszystkich studiów przypadków

Usuwanie problemówWiele branż

Zdrowa aplikacja, brak błędów, brak wykonań — warto sprawdzić konto magazynu

Ubezpieczyciel majątkowy

Diagnoza funkcji, które po zmianie łączności z kontem magazynu po cichu przestały się wyzwalać — zależność, którą ma środowisko uruchomieniowe, ale o której kod aplikacji nigdy nie wspomina.

Przegląd

Środowisko uruchomieniowe Azure Functions zależy od powiązanego konta magazynu w zakresie stanu wyzwalaczy, harmonogramów timerów, potwierdzeń blobów, blokad singleton i przechowywania kluczy funkcji. Gdy to konto staje się nieosiągalne — przez regułę firewalla, zmianę private endpointu lub zrotowany klucz — aplikacja może wyglądać na zdrową, podczas gdy wyzwalacze po cichu przestają działać. To jeden z najmniej oczywistych trybów awarii na tej platformie, bo nic w kodzie aplikacji nie odwołuje się do magazynu.

Wyzwanie

Funkcje wyzwalane timerem i blobem przestały się wykonywać bez żadnych błędów i nieudanych wywołań, bo wywołań w ogóle nie było. Zmiana sieciowa włączyła reguły firewalla magazynu, które wykluczyły adresy wychodzące aplikacji funkcji. Monitoring alarmował na podstawie odsetka błędów, a nie oczekiwanej liczby wykonań, więc brak wykonań nie wygenerował żadnego alertu.

Środowisko

Azure Functions na planie Elastic Premium z wyzwalaczami timer, blob i queue, w subskrypcji objętej programem zaostrzania bezpieczeństwa sieci. AceMQ pracuje nad aplikacjami funkcji, konfiguracją i projektem integracji klienta — platformę obsługuje Microsoft.

Podejście

AceMQ zaczęło od zależności samego środowiska uruchomieniowego, a nie od kodu aplikacji, sprawdzając osiągalność konta magazynu, ustawienie połączenia rozwiązywane przez środowisko uruchomieniowe i utrzymywane przez nie kontenery stanu wyzwalaczy. Po przywróceniu łączności przebudowaliśmy monitoring wokół oczekiwanej liczby wykonań, bo alert oparty na odsetku błędów nigdy nie wykryje wyzwalacza, który w ogóle się nie uruchamia.

Rozwiązanie

  1. Weryfikacja w pierwszej kolejności osiągalności konta magazynu środowiska uruchomieniowego, ustawień połączenia i kontenerów stanu wyzwalaczy
  2. Korekta konfiguracji firewalla magazynu i private endpointów, aby umożliwić dostęp środowisku uruchomieniowemu aplikacji funkcji
  3. Oddzielenie konta magazynu środowiska uruchomieniowego od magazynu danych aplikacji, aby ich polityki mogły się bezpiecznie różnić
  4. Zastąpienie alertów opartych na odsetku błędów alertami opartymi na oczekiwanej liczbie wykonań dla każdego wyzwalacza
  5. Dodanie syntetycznej funkcji heartbeat, która potwierdza działanie ścieżki wyzwalania od początku do końca
  6. Udokumentowanie zależności środowiska uruchomieniowego od magazynu na potrzeby procesu przeglądu zmian zespołu sieciowego

Efekt

Wyzwalacze wznowiły działanie, a luka w monitoringu, która umożliwiła cichą, kilkudniową awarię, została zamknięta. Zależność od magazynu jest teraz częścią listy kontrolnej zmian zespołu sieciowego, a nie wiedzą przekazywaną nieformalnie.

Technologie

Azure FunctionsAzure Service BusDockerPostgreSQL

Problem produkcyjny z Azure Functions?

Starsi inżynierowie Azure Functions w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.