Powrót do wszystkich studiów przypadków

Wsparcie techniczneEnergetyka / media

Orkiestracje, które nigdy się nie kończą, bo odtwarzanie przestało zgadzać się z historią

Dostawca usług rozliczeniowych dla przedsiębiorstw użyteczności publicznej

Przywracanie orkiestracji Durable Functions zablokowanych w trakcie wykonania, ponieważ niedeterministyczny kod orkiestratora po wdrożeniu przerwał odtwarzanie (replay).

Przegląd

Orkiestratory Durable Functions działają, odtwarzając swój kod względem historii zdarzeń. Działa to tylko wtedy, gdy orkiestrator jest deterministyczny — bez bezpośredniego odczytu zegara, bez wartości losowych, bez operacji I/O i bez nieuporządkowanej pracy asynchronicznej poza trwałymi API. Złamanie determinizmu sprawia, że odtwarzanie rozjeżdża się z historią, a orkiestracja się zawiesza, zamiast zakończyć się czystym błędem.

Wyzwanie

Po wdrożeniu partia orkiestracji rozliczeniowych przestała postępować. Orkiestrator bezpośrednio odczytywał zegar systemowy, aby wyliczyć termin graniczny, generował w miejscu GUID korelacji i wykonywał wywołanie HTTP z orkiestratora zamiast z aktywności. Instancje będące już w trakcie wykonania miały historie, których nowy kod nie potrafił odtworzyć, więc utknęły — a ponieważ nie zostały oznaczone jako nieudane, nie zadziałał żaden alert o błędzie.

Środowisko

Durable Functions na Azure z orkiestracjami rozliczeniowymi typu fan-out/fan-in obejmującymi wiele funkcji aktywności i wywołania zewnętrzne. AceMQ pracuje nad kodem orkiestratorów i aktywności klienta; platformę obsługuje Microsoft.

Podejście

AceMQ przeanalizowało historie instancji zablokowanych orkiestracji, aby ustalić, gdzie odtwarzanie się rozeszło — co wskazało bezpośrednio na niedeterministyczne wywołania. Poprawiliśmy orkiestrator, a następnie w przemyślany sposób zajęliśmy się instancjami będącymi w trakcie wykonania — część można było wznowić, część trzeba było zakończyć i uruchomić ponownie od znanego bezpiecznego punktu.

Rozwiązanie

  1. Analiza historii zdarzeń instancji w celu dokładnego wskazania, gdzie odtwarzanie rozeszło się z zapisaną historią
  2. Zastąpienie bezpośrednich odczytów zegara deterministycznym bieżącym czasem z kontekstu durable
  3. Przeniesienie generowania GUID i wszystkich operacji I/O z orkiestratora do funkcji aktywności
  4. Podział instancji w trakcie wykonania na grupy do wznowienia oraz do zakończenia i ponownego odtworzenia, z idempotentnym ponownym uruchomieniem
  5. Wprowadzenie wersjonowanych orkiestratorów, aby przyszłe zmiany nie psuły instancji będących już w trakcie wykonania
  6. Dodanie alertów dotyczących wieku orkiestracji i liczby zablokowanych instancji, a nie tylko błędów

Efekt

Zablokowane orkiestracje rozliczeniowe zostały odblokowane bez podwójnych obciążeń, a dzięki wersjonowaniu orkiestratorów wdrożenie nie grozi już zawieszeniem wszystkich działających instancji.

Technologie

Azure FunctionsAzure Service BusPostgreSQLDocker

Potrzebują Państwo eksperckiego wsparcia Azure Functions?

Starsi inżynierowie Azure Functions w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.