개요
스케줄러 프로세스는 정상인데 Airflow가 스케줄링을 멈췄다면, 대개 실행 중으로 표시된 태스크 뒤에 실제로 살아 있는 프로세스가 없는 것이 원인입니다. 이런 태스크는 실행기 슬롯과 풀 용량을 무기한 점유하며, 슬롯이 모두 소진되면 새 작업은 큐에 들어가지 못합니다. AceMQ는 이 상태를 해소하고 원인을 제거합니다.
과제
좀비 태스크는 작업 도중 축출된 워커 파드, OOM 킬러에 의해 종료된 Celery 워커, 그리고 태스크 상태를 갱신하지 못한 채 하트비트만 끊어 버리는 네트워크 분할에서 쌓여 갑니다. 메타데이터 데이터베이스에는 여전히 실행 중으로 남아 있으므로, 실행기는 이를 병렬 처리 한도와 풀 슬롯에 포함해 계산합니다. 그사이 태스크 인스턴스 테이블이 커지면서 스케줄러 루프 시간이 늘어나 감지는 더욱 늦어집니다. 오래된 상태 정보가 데이터베이스에 남아 있으므로 스케줄러를 재시작해도 소용이 없습니다.
환경
Celery 또는 Kubernetes 실행기와 PostgreSQL 또는 MySQL 메타데이터 데이터베이스를 사용하는 Kubernetes 또는 VM 기반 Apache Airflow 2.x.
접근 방식
AceMQ는 멈춘 태스크 인스턴스를 찾아 실제 워커 프로세스와 상태를 대조해 정리하고, 점유된 슬롯을 해제해 스케줄링을 재개시킵니다. 이어서 좀비 감지 임곗값과 하트비트 타임아웃을 실제 태스크 실행 시간에 맞추고, 축출이 원인이었던 곳에서는 워커 리소스 한도를 바로잡으며, 스케줄러 루프 시간이 일정 수준을 넘지 않도록 메타데이터 데이터베이스 유지 관리를 정기 일정으로 운영합니다.
해결책
- 멈춘 태스크 인스턴스를 실제 워커 프로세스와 대조해 정리하고 실행기 및 풀 슬롯 해제
- 실제 장시간 실행 태스크의 소요 시간에 맞춘 좀비 감지 임곗값과 태스크 하트비트 간격 조정
- 파드 종료가 고아 태스크의 원인인 경우 워커 리소스 한도와 축출 설정 검토
- 실제 워커 용량에 맞춰 풀, parallelism, dag_concurrency, max_active_tasks 구성 수정
- 보존 정책을 적용한 태스크 인스턴스 및 로그 테이블 정리를 포함한 메타데이터 데이터베이스 유지 관리
- 다음 정체를 몇 분 안에 감지할 수 있도록 큐 대기 태스크의 경과 시간과 스케줄러 루프 시간에 대한 스케줄러 상태 알림 설정
성과
스케줄링은 즉시 재개되며, 타임아웃 수정, 워커 용량 조정, 데이터베이스 유지 관리가 함께 작용해 죽은 태스크가 슬롯을 점유하는 일을 막습니다. 예전에는 아침 보고서가 누락되고 나서야 알아차리던 정체가 이제는 몇 분 안에 알림으로 감지됩니다.