개요
Airflow 스케줄러는 DAG 파일을 계속해서 다시 파싱하며, DAG 파일의 최상위 수준에 있는 느린 코드는 파싱할 때마다 그 비용을 치릅니다. 임포트 중에 데이터베이스를 조회하거나 API를 호출하는 파일 하나만으로도 전체 파싱 시간이 주기를 넘어서 배포 환경 전체의 스케줄링이 지연될 수 있습니다. AceMQ는 문제가 되는 파일을 찾아내고 그 패턴을 바로잡습니다.
과제
증상은 산발적으로 나타납니다. DAG가 예정 시각보다 몇 분 늦게 시작되고, UI가 느리며, 새 DAG 파일이 나타나기까지 오래 걸립니다. 흔한 원인은 변수 백엔드나 시크릿 매니저를 최상위에서 호출하는 코드, 임포트 시 데이터베이스를 조회하는 동적 DAG 생성, 모듈 수준의 무거운 라이브러리 임포트, 짧은 파싱 주기에 비해 지나치게 많은 파일 수입니다. 개별 DAG만 따로 보면 모두 무해해 보입니다.
환경
동적으로 생성되는 DAG를 포함해 수십 개에서 수천 개의 DAG 파일을 운영하는 Kubernetes 또는 VM 기반 Apache Airflow 2.x 배포 환경.
접근 방식
AceMQ 엔지니어는 DAG 프로세서의 파일별 파싱 시간을 읽어 비용 순으로 파일 순위를 매기는데, 대개 소수의 파일이 전체 시간의 대부분을 차지하는 것으로 드러납니다. 해당 파일은 모듈 스코프의 작업을 태스크 callable이나 지연 조회로 옮겨 수정하고, 그다음 수정된 파일 구성을 기준으로 파싱 설정을 튜닝합니다.
해결책
- 플랜에 따라 15분부터 시작하는 대응 목표, 1차 분류 없이 전담 시니어 엔지니어가 24/7 대응
- DAG 프로세서 로그 기반 파일별 파싱 시간 분석으로 임포트 비용 순위 산출
- 파싱할 때마다 실행되는 최상위 Variable, Connection, 시크릿 백엔드 호출 제거
- 임포트 시 데이터베이스 조회 대신 캐시나 파일 기반 메타데이터를 사용하도록 동적 DAG 생성 코드 재작성
- 수정된 파싱 프로파일에 맞춘 min_file_process_interval, 파싱 프로세스 수, dag_dir_list_interval 튜닝
- 임포트 시점에 DAG 구조를 정적으로 펼치던 부분에 지연 및 동적 태스크 매핑 패턴 적용
성과
스케줄링 지연이 다시 몇 초 수준으로 줄었고, DAG 파싱 시간이 더 이상 DAG 파일 수에 비례해 늘어나지 않습니다. 새 DAG가 바로 나타나고, UI도 다시 쓸 만한 수준이 되었습니다.