Panoramica
Quando Airflow smette di schedulare ma il processo dello scheduler è in salute, la causa abituale è che i task segnati come in esecuzione non hanno più un processo attivo alle spalle. Questi task occupano a tempo indefinito gli slot dell'executor e la capacità dei pool, e una volta esauriti gli slot non entra più nulla in coda. AceMQ sblocca la situazione ed elimina la causa.
Sfida
Gli zombie task si accumulano a causa di worker pod espulsi a metà task, worker Celery terminati dall'OOM killer e partizioni di rete che interrompono l'heartbeat senza aggiornare lo stato del task. Il database dei metadati continua a mostrarli in esecuzione, quindi l'executor li conteggia nel parallelismo e negli slot dei pool. Nel frattempo la durata del ciclo dello scheduler peggiora man mano che la tabella delle task instance cresce, rallentando ulteriormente il rilevamento. Riavviare lo scheduler non serve, perché lo stato obsoleto si trova nel database.
Ambiente
Apache Airflow 2.x su Kubernetes o VM con executor Celery o Kubernetes e un database dei metadati PostgreSQL o MySQL.
Approccio
AceMQ individua le task instance bloccate e ne riallinea lo stato con i processi worker effettivi, liberando gli slot occupati così che lo scheduling riprenda. Si allineano poi le soglie di rilevamento degli zombie e i timeout di heartbeat con i tempi di esecuzione reali dei task, si correggono i limiti di risorse dei worker dove l'espulsione era la causa scatenante e si pianifica la manutenzione del database dei metadati, così che la durata del ciclo dello scheduler resti contenuta.
Soluzione
- Individuazione delle task instance bloccate e riallineamento con i processi worker attivi per liberare gli slot dell'executor e dei pool
- Soglia di rilevamento degli zombie e intervallo di heartbeat dei task allineati alla durata reale dei task di lunga esecuzione
- Revisione dei limiti di risorse dei worker e delle espulsioni, dove la terminazione dei pod è all'origine dei task orfani
- Correzione della configurazione di pool, parallelism, dag_concurrency e max_active_tasks in base alla capacità effettiva dei worker
- Manutenzione del database dei metadati, compresa la pulizia delle tabelle delle task instance e dei log con una policy di retention
- Alerting sullo stato dello scheduler basato sull'età dei task in coda e sulla durata del ciclo dello scheduler, così che il prossimo blocco venga rilevato in pochi minuti
Esito
Lo scheduling riprende immediatamente, e la combinazione di timeout corretti, dimensionamento dei worker e manutenzione del database impedisce che gli slot restino occupati da task morti. I blocchi che prima passavano inosservati finché al mattino non mancava un report ora generano un alert nel giro di pochi minuti.