Przegląd
Gdy Airflow przestaje planować zadania, choć proces schedulera jest zdrowy, zwykle przyczyną są zadania oznaczone jako uruchomione, za którymi nie stoi już żaden żywy proces. Takie zadania bezterminowo zajmują sloty executora i pojemność pul, a gdy sloty się wyczerpią, do kolejki nie trafia nic nowego. AceMQ usuwa ten stan i jego przyczynę.
Wyzwanie
Zadania zombie gromadzą się w wyniku eksmisji podów workerów w trakcie zadania, workerów Celery zabijanych przez OOM killera oraz partycji sieciowych, które przerywają heartbeat bez aktualizacji stanu zadania. Baza metadanych nadal pokazuje je jako uruchomione, więc executor wlicza je do limitów parallelism i slotów pul. Tymczasem czas pętli schedulera rośnie wraz z rozrostem tabeli instancji zadań, co dodatkowo spowalnia wykrywanie. Restart schedulera nie pomaga, bo nieaktualny stan znajduje się w bazie danych.
Środowisko
Apache Airflow 2.x na Kubernetes lub maszynach wirtualnych z executorami Celery lub Kubernetes oraz bazą metadanych PostgreSQL lub MySQL.
Podejście
AceMQ identyfikuje zablokowane instancje zadań i uzgadnia ich stan z rzeczywistymi procesami workerów, zwalniając zajęte sloty, dzięki czemu planowanie zostaje wznowione. Następnie progi wykrywania zombie i timeouty heartbeatu są dopasowywane do rzeczywistych czasów wykonania zadań, limity zasobów workerów są korygowane tam, gdzie wyzwalaczem była eksmisja, a konserwacja bazy metadanych zostaje objęta harmonogramem, aby czas pętli schedulera pozostawał ograniczony.
Rozwiązanie
- Identyfikacja zablokowanych instancji zadań i uzgodnienie ich stanu z działającymi procesami workerów w celu zwolnienia slotów executora i pul
- Dopasowanie progu wykrywania zombie i interwału heartbeatu zadań do rzeczywistego czasu trwania długich zadań
- Przegląd limitów zasobów workerów i eksmisji tam, gdzie źródłem osieroconych zadań jest zakończenie podów
- Korekta konfiguracji pool, parallelism, dag_concurrency i max_active_tasks względem rzeczywistej pojemności workerów
- Konserwacja bazy metadanych, w tym czyszczenie tabel instancji zadań i logów zgodnie z polityką retencji
- Alerty o stanie schedulera oparte na wieku zadań w kolejce i czasie trwania pętli schedulera, dzięki którym kolejny przestój zostaje wykryty w ciągu kilku minut
Efekt
Planowanie zostaje wznowione natychmiast, a połączenie poprawionych timeoutów, właściwego doboru zasobów workerów i konserwacji bazy danych sprawia, że sloty nie są już blokowane przez martwe zadania. Przestoje, które wcześniej pozostawały niezauważone, dopóki rano nie brakowało raportu, teraz generują alert w ciągu kilku minut.