Przegląd
Scheduler Airflow nieustannie parsuje pliki DAG ponownie, a za wszystko, co działa wolno na najwyższym poziomie pliku DAG, płaci się przy każdym parsowaniu. Pojedynczy plik, który podczas importu odpytuje bazę danych lub wywołuje API, może wydłużyć łączny czas parsowania ponad interwał i opóźnić planowanie w całym wdrożeniu. AceMQ znajduje winne pliki i usuwa ten wzorzec.
Wyzwanie
Objawy są rozproszone: DAG-i startują kilka minut po zaplanowanym czasie, interfejs działa wolno, a nowe pliki DAG długo się nie pojawiają. Typowe przyczyny to wywołania backendu zmiennych lub menedżera sekretów na najwyższym poziomie modułu, dynamiczne generowanie DAG-ów odpytujące bazę danych podczas importu, ciężkie importy bibliotek na poziomie modułu oraz duża liczba plików przy krótkim interwale parsowania. Każdy pojedynczy DAG w izolacji wygląda niegroźnie.
Środowisko
Wdrożenia Apache Airflow 2.x na Kubernetes lub maszynach wirtualnych, od kilkudziesięciu do tysięcy plików DAG, w tym DAG-i generowane dynamicznie.
Podejście
Inżynierowie AceMQ analizują czasy parsowania poszczególnych plików raportowane przez procesor DAG-ów, aby uszeregować pliki według kosztu — zwykle okazuje się, że kilka z nich odpowiada za większość łącznego czasu. Te pliki są poprawiane przez przeniesienie pracy z zakresu modułu do funkcji wywoływanych przez zadania lub do odroczonych odczytów, a następnie konfiguracja parsowania jest strojona pod poprawiony zestaw plików.
Rozwiązanie
- Docelowe czasy reakcji od 15 minut, zależnie od planu, z przypisanymi starszymi inżynierami, 24/7, bez pierwszej linii wsparcia (tier 1)
- Analiza czasu parsowania poszczególnych plików na podstawie logów procesora DAG-ów w celu uszeregowania plików według kosztu importu
- Usunięcie wywołań Variable, Connection i backendu sekretów na najwyższym poziomie modułu, wykonywanych przy każdym parsowaniu
- Przepisanie dynamicznego generowania DAG-ów tak, aby korzystało z metadanych z pamięci podręcznej lub plików zamiast zapytania do bazy danych podczas importu
- Strojenie min_file_process_interval, liczby procesów parsujących i dag_dir_list_interval pod poprawiony profil parsowania
- Zastosowanie wzorców odroczonego i dynamicznego mapowania zadań tam, gdzie struktura DAG-a była rozwijana statycznie podczas importu
Efekt
Opóźnienie planowania wraca do poziomu sekund, a czas parsowania DAG-ów przestaje rosnąć wraz z liczbą plików DAG. Nowe DAG-i pojawiają się szybko, a interfejs znów nadaje się do pracy.