Przegląd
Wdrożenia Airflow degradują się stopniowo. Liczba DAG-ów rośnie, konwencje ich tworzenia rozchodzą się między zespołami, baza metadanych nigdy nie jest konserwowana, a wersja zostaje w tyle na tyle, że aktualizacja staje się osobnym projektem. AceMQ ocenia wdrożenie i przekazuje uszeregowany według priorytetów plan naprawczy.
Wyzwanie
Te problemy rzadko są zgłaszane jako problemy z Airflow — objawiają się jako zawodne potoki i powolne dostarczanie. Pod spodem zadania nie są idempotentne, więc ponowienia uszkadzają dane, poświadczenia są przechowywane w Variables zamiast w backendzie sekretów, baza metadanych rozrosła się do setek gigabajtów historii instancji zadań, zadania typu sensor zajmują sloty workerów godzinami, a wdrożenie jest kilka wersji pomocniczych w tyle bez przećwiczonej ścieżki aktualizacji.
Środowisko
Wdrożenia Apache Airflow 2.x na Kubernetes, maszynach wirtualnych lub w usługach zarządzanych, orkiestrujące obciążenia Spark, dbt, hurtowni danych i zewnętrznych API.
Podejście
AceMQ analizuje wdrożenie w czterech wymiarach — infrastruktura i konfiguracja, praktyki tworzenia DAG-ów, bezpieczeństwo i obsługa sekretów oraz gotowość do aktualizacji — w odniesieniu do historii samego wdrożenia, a nie ogólnej listy kontrolnej. Ustalenia są szeregowane według ryzyka operacyjnego, jakie niosą, i nakładu pracy potrzebnego do ich usunięcia.
Rozwiązanie
- Przegląd konfiguracji schedulera, executora i bazy metadanych w odniesieniu do zmierzonej liczby DAG-ów i zadań
- Audyt praktyk tworzenia DAG-ów obejmujący idempotentność, bezpieczeństwo ponowień, kod najwyższego poziomu i strukturę zależności we wszystkich zespołach
- Przegląd obsługi sekretów i połączeń, w tym poświadczeń przechowywanych w Variables, które powinny trafić do backendu sekretów
- Ocena przyrostu i konserwacji bazy metadanych wraz z rekomendacjami dotyczącymi retencji i archiwizacji
- Przegląd użycia sensorów i zamiana blokujących sensorów na operatory odraczalne (deferrable) tam, gdzie sloty workerów są zajmowane przez oczekiwanie
- Analiza aktualności wersji i ścieżki aktualizacji, w tym zgodności pakietów providerów, oraz przećwiczony plan aktualizacji
Efekt
Klienci otrzymują uszeregowaną listę działań naprawczych obejmującą niezawodność, bezpieczeństwo i gotowość do aktualizacji, w której pozycje o najwyższym ryzyku — zwykle nieidempotentne zadania i poświadczenia w zwykłych Variables — są wskazane wprost, a nie ukryte w ogólnej rekomendacji.