Przegląd
Orkiestratory Durable Functions działają, odtwarzając swój kod względem historii zdarzeń. Działa to tylko wtedy, gdy orkiestrator jest deterministyczny — bez bezpośredniego odczytu zegara, bez wartości losowych, bez operacji I/O i bez nieuporządkowanej pracy asynchronicznej poza trwałymi API. Złamanie determinizmu sprawia, że odtwarzanie rozjeżdża się z historią, a orkiestracja się zawiesza, zamiast zakończyć się czystym błędem.
Wyzwanie
Po wdrożeniu partia orkiestracji rozliczeniowych przestała postępować. Orkiestrator bezpośrednio odczytywał zegar systemowy, aby wyliczyć termin graniczny, generował w miejscu GUID korelacji i wykonywał wywołanie HTTP z orkiestratora zamiast z aktywności. Instancje będące już w trakcie wykonania miały historie, których nowy kod nie potrafił odtworzyć, więc utknęły — a ponieważ nie zostały oznaczone jako nieudane, nie zadziałał żaden alert o błędzie.
Środowisko
Durable Functions na Azure z orkiestracjami rozliczeniowymi typu fan-out/fan-in obejmującymi wiele funkcji aktywności i wywołania zewnętrzne. AceMQ pracuje nad kodem orkiestratorów i aktywności klienta; platformę obsługuje Microsoft.
Podejście
AceMQ przeanalizowało historie instancji zablokowanych orkiestracji, aby ustalić, gdzie odtwarzanie się rozeszło — co wskazało bezpośrednio na niedeterministyczne wywołania. Poprawiliśmy orkiestrator, a następnie w przemyślany sposób zajęliśmy się instancjami będącymi w trakcie wykonania — część można było wznowić, część trzeba było zakończyć i uruchomić ponownie od znanego bezpiecznego punktu.
Rozwiązanie
- Analiza historii zdarzeń instancji w celu dokładnego wskazania, gdzie odtwarzanie rozeszło się z zapisaną historią
- Zastąpienie bezpośrednich odczytów zegara deterministycznym bieżącym czasem z kontekstu durable
- Przeniesienie generowania GUID i wszystkich operacji I/O z orkiestratora do funkcji aktywności
- Podział instancji w trakcie wykonania na grupy do wznowienia oraz do zakończenia i ponownego odtworzenia, z idempotentnym ponownym uruchomieniem
- Wprowadzenie wersjonowanych orkiestratorów, aby przyszłe zmiany nie psuły instancji będących już w trakcie wykonania
- Dodanie alertów dotyczących wieku orkiestracji i liczby zablokowanych instancji, a nie tylko błędów
Efekt
Zablokowane orkiestracje rozliczeniowe zostały odblokowane bez podwójnych obciążeń, a dzięki wersjonowaniu orkiestratorów wdrożenie nie grozi już zawieszeniem wszystkich działających instancji.