Powrót do wszystkich studiów przypadków

Wsparcie techniczneOprogramowanie / platformy cyfrowe

Jeden wolny plik DAG opóźnia każdy DAG we wdrożeniu

Cyfrowa platforma handlu detalicznego

Usunięcie opóźnień schedulera spowodowanych plikami DAG, które podczas parsowania wykonują wywołania sieciowe lub zapytania do bazy danych, blokując każdy DAG we wdrożeniu.

Przegląd

Scheduler Airflow nieustannie parsuje pliki DAG ponownie, a za wszystko, co działa wolno na najwyższym poziomie pliku DAG, płaci się przy każdym parsowaniu. Pojedynczy plik, który podczas importu odpytuje bazę danych lub wywołuje API, może wydłużyć łączny czas parsowania ponad interwał i opóźnić planowanie w całym wdrożeniu. AceMQ znajduje winne pliki i usuwa ten wzorzec.

Wyzwanie

Objawy są rozproszone: DAG-i startują kilka minut po zaplanowanym czasie, interfejs działa wolno, a nowe pliki DAG długo się nie pojawiają. Typowe przyczyny to wywołania backendu zmiennych lub menedżera sekretów na najwyższym poziomie modułu, dynamiczne generowanie DAG-ów odpytujące bazę danych podczas importu, ciężkie importy bibliotek na poziomie modułu oraz duża liczba plików przy krótkim interwale parsowania. Każdy pojedynczy DAG w izolacji wygląda niegroźnie.

Środowisko

Wdrożenia Apache Airflow 2.x na Kubernetes lub maszynach wirtualnych, od kilkudziesięciu do tysięcy plików DAG, w tym DAG-i generowane dynamicznie.

Podejście

Inżynierowie AceMQ analizują czasy parsowania poszczególnych plików raportowane przez procesor DAG-ów, aby uszeregować pliki według kosztu — zwykle okazuje się, że kilka z nich odpowiada za większość łącznego czasu. Te pliki są poprawiane przez przeniesienie pracy z zakresu modułu do funkcji wywoływanych przez zadania lub do odroczonych odczytów, a następnie konfiguracja parsowania jest strojona pod poprawiony zestaw plików.

Rozwiązanie

  1. Docelowe czasy reakcji od 15 minut, zależnie od planu, z przypisanymi starszymi inżynierami, 24/7, bez pierwszej linii wsparcia (tier 1)
  2. Analiza czasu parsowania poszczególnych plików na podstawie logów procesora DAG-ów w celu uszeregowania plików według kosztu importu
  3. Usunięcie wywołań Variable, Connection i backendu sekretów na najwyższym poziomie modułu, wykonywanych przy każdym parsowaniu
  4. Przepisanie dynamicznego generowania DAG-ów tak, aby korzystało z metadanych z pamięci podręcznej lub plików zamiast zapytania do bazy danych podczas importu
  5. Strojenie min_file_process_interval, liczby procesów parsujących i dag_dir_list_interval pod poprawiony profil parsowania
  6. Zastosowanie wzorców odroczonego i dynamicznego mapowania zadań tam, gdzie struktura DAG-a była rozwijana statycznie podczas importu

Efekt

Opóźnienie planowania wraca do poziomu sekund, a czas parsowania DAG-ów przestaje rosnąć wraz z liczbą plików DAG. Nowe DAG-i pojawiają się szybko, a interfejs znów nadaje się do pracy.

Technologie

Apache AirflowKubernetesPostgreSQL

Potrzebują Państwo eksperckiego wsparcia Apache Airflow?

Starsi inżynierowie Apache Airflow w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.